cdh详细安装文档

最新推荐文章于 2022-09-13 09:42:01 发布

weixin_38411472

最新推荐文章于 2022-09-13 09:42:01 发布

阅读量1.5k

点赞数 1

分类专栏： cdh 大数据开发环境文章标签： cdh安装 cdh6.2.0安装 mysql安装 cdh错误详解 cdh详细文档

本文链接：https://blog.csdn.net/weixin_38411472/article/details/98213552

版权

大数据开发环境同时被 2 个专栏收录

1 篇文章 0 订阅

订阅专栏

cdh

0 篇文章 0 订阅

订阅专栏

CDH6.2.0完整安装版

一.简介

对于刚入手的人来说，也许不知道cdh都能做什么，和传统的hadoop有啥区别。今天我简单的做个介绍，cdh你可以认为它就是一个工具，也可以说是一个软件，在这个工具上面存在这很多的大数据框架。它分为免费版和收费版，就免费版来说它包括：ADLS、Accumulo、Flume、HBase、HDFS、Hive、Hue、Impala、Isilon、Java KeyStore KMS、Kafka、Key-Value Store Indexer、Kudu、Oozie、S3 Connector、Sentry、Solr、Spark、Sqoop、YARN、ZooKeeper。
这些框架对于大数据开发人员来说是必不可少的，但是使用老一套的安装方法，需要花费大量的时间，还会出现各种的问题。cdh就是帮我们解决了这个问题，当你将cdh安装完毕后，这些大数据框架可以直接在网页端进行安装。但是在安装cdh之前需要先安装cm(cloudera manager)
之前我在刚入手的cdh的时候由于不是很了解，所以走了很多的弯路，所以当我完全理解之后决定写篇文章。如果你完全按照我的文档安装一定可以安装成功的，如果有问题可以在下方进行留言。希望你可以早日掌握cdh的相关内容。

二.基础环境搭建（三台机器均需安装）

1.首先下载cdh和cm（也可以在文章底部下载我整理好的）：
下载cm安装包：https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/
下载cdh安装包：https://archive.cloudera.com/cdh6/6.2.0/parcels/
2.机器准备：

ip	主机名称
192.168.20.150	cdh1
192.168.20.151	cdh2
192.168.20.152	cdh3

3.编写三台虚拟机的/etc/hosts文件：

192.168.20.150 cdh1
192.168.20.151 cdh2
192.168.20.152 cdh3

4.关闭三台虚拟机的防火墙

A.systemctl status firewalld                         查看防火墙状态
B.systemctl stop firewalld                           关闭防火墙
C.systemctl disable firewalld                        禁止防火墙开机自启

5.三台虚拟机的ssh免密登录

A.ssh-keygen -t rsa                                   一路回车
B.cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys     将公钥存放到authorized_keys文件中
C.chmod 600 ~/.ssh/authorized_keys                    设置权限
注意：三台服务器同时执行以上命令后，将cdh1、cdh2、cdh3的id_rsa.pub文件中内容分别存放到三台机器中。
     确保每台都可以进行免密登录。

6.配置ntp服务，使三台机器时间保持一致

A.yum -y install ntp 安装ntp服务
B.vim /etc/ntp.conf 修改配置文件
找到以下内容并且注释掉：
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
然后添加：
server ntp.aliyun.com
注意：在cdh1也就是主节点上按照以上配置即可，在其余节点上将上面内容注释掉后	添加server cdh1（主节点）
C.service ntpd restart 重启ntp服务（三台）
D.systemctl enable ntpd.service 设置开机启动
E.Date查看三台时间是否一致

7.修改swappiness参数（保证性能）

A.vi /usr/lib/tuned/latency-performance/tuned.conf
B.vi /usr/lib/tuned/throughput-performance/tuned.conf
C.vi /usr/lib/tuned/virtual-guest/tuned.conf
注意：进入以上三个文件中将vm.swappiness参数的值修改为0

8.禁止透明页

vi /etc/rc.local 编辑这个文件，添加：
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

9.安装jdk环境：

A.rpm -qa | grep java  查询自带的java环境
B.yum remove java*  卸载自带的环境
C.下载我的jdk安装包：
连接：https://pan.baidu.com/s/169k3YGN1PJWb0Vq5aqzl5w
提取码：t9cb
D.rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm 安装jdk
E.添加环境变量：
vi /etc/profile 
在最后添加（如果是我的jdk版本直接复制下面的语句即可，如果自行安装的需	要修改java路径）：
export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
export CLASSPATH=:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile 刷新
which java 查看或java -version

10.将mysql驱动存放到java中

A.mkdir -p /usr/share/java    创建目录
B.下载我的mysql驱动（如果自己下载的则需要将名字修改成mysql-connector-java.jar）
链接：https://pan.baidu.com/s/1kQAoGygtkZauHrttPuCVSQ 
提取码：h12n

11.安装Httpd服务（主节点即可）

yum install httpd	                        	安装
service httpd start	                            启动
systemctl enable httpd.service              	设置开机自启

三.mysql安装

1.查看并卸载mariadb（默认的是mariadb不是mysql）

rpm -qa | grep mariadb	查看
rpm -e mariadb-libs-5.5.35-3.el7.x86_64 --nodeps	卸载（对应自己的版本）

2下载：

链接：https://pan.baidu.com/s/1WntvRBUSGZSLi2Fj7oJbWA 
提取码：lh2q

3.安装msyql服务（按照顺序执行以下命令，如果是自己下的修改对应版本）

rpm -ivh mysql-community-common-5.7.21-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.21-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.21-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.21-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-compat-5.7.22-1.el7.x86_64.rpm

4.启动msyql：

service mysqld start

5.查看初始密码：

cat /var/log/mysqld.log | grep root@localhost

?)1etta+e,2Y则是初始的密码

6.进入mysql

Mysql -uroot -p  回车后输入默认密码即可

7.修改默认密码

UPDATE user SET authentication_string=PASSWORD('(doELj6KTiqu') where USER='root';
(doELj6KTiqu则是新的密码，不可修改成全数字或全字母，密码里需要包括特殊字符、大写字母、小写字母和数字。
目前我是这样设置的如果觉得麻烦后期可以改，但是我就觉得没有必要。需要是复制粘贴即可。

8.设置允许远程访问：

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '(doELj6KTiqu' WITH GRANT OPTION;
flush privileges;

9.创建备用数据库：

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database reports DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

10.通过远程连接工具连接即可（安装完成）

注意：以上环境是安装cdh集群必备的环境，如果哪一步骤报错都有可能影响集群的安装，所以以上环境安装完毕后需要做一个备份，就是快照，如果接下来安装cdh失败后则可以恢复到当前状态进行重新安装，而不需要再重新安装以上服务。三台机器同时做好备份后就要开始cdh的真正安装了。

四. cm&cdh安装

说明：建议在我提供的地址下载所有安装包，这样使用我文档中的所有命令都可以，如果使用自己下载的安装包，则需要对应版本号等。如果自己下载不知道下载哪些文件，可以在我上面提供的连接中找到如图的版本即可。

1.首先在/mnt目录下创建cm和cdh两个文件

1). 上传cm的安装包到cm目录下：
在这里插入图片描述
2). 上传cdh的安装包到cdh目录下：

2.安装cm服务：

1.在cm目录下执行：

yum -y install cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm
执行完毕后在/opt/cloudera文件夹中,生成以下文件夹（cm）：

drwxr-xr-x 27 cloudera-scm cloudera-scm 4096 May 16 16:34 cm

2.再分别执行以下两个命令安装cm的库和服务：

yum -y install  cloudera-manager-server-6.2.0-968826.el7.x86_64.rpm
yum -y install cloudera-manager-server-db-2-6.2.0-968826.el7.x86_64.rpm
执行完毕后在/opt/cloudera文件夹中,生成以下文件夹（csd、parcel-repo）：

drwxr-xr-x  2 cloudera-scm cloudera-scm    6 Mar 15 01:45 csd
drwxr-xr-x  2 cloudera-scm cloudera-scm 4096 May 17 08:17 parcel-repo

3.将之前上传的cdh安装移动到parcel-repo目录中

cp /mnt/cdh/*  /opt/cloudera/parcel-repo/

4.将parcel-repo文件夹下的cdh文件增加权限：

chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/*

5.在parcel-repo中执行以下命令：

sha1sum CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel | awk '{ print $1 }' > CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha

6.配置cm的mysql存储库（密码：(doELj6KTiqu）：

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -uroot -p scm scm
其中root是用户、-p是密码（先为空，回车后输入） scm分别是数据库

7.启动cm

systemctl start cloudera-scm-server.service	         启动
systemctl status cloudera-scm-server.service	     查看
systemctl stop cloudera-scm-server.service	         停止

8.查看cm服务是否启动：

netstat -ntlp | grep 7180

注意：启动完查看状态，如果是活跃的即可，启动时间也许很久，耐心等待即可。

五.页面操作

启动成功后，页面访问http://192.168.20.150:7180

1.如果启动成功，则访问地址后会出现下图（用户名密码均为：admin）：
在这里插入图片描述
2.点击登录会出现下图，一直点下一步即可（第二张图需要点击同意按钮）

3.上图选择免费的之后，点击完成后会出现下图，按照顺序观察图片上的要求即可。
1）.点击下一步即可：

2）.给自己的集群起一个名字然后点击下一步即可：
在这里插入图片描述
3）.这一步需要注意，必须保证这三台机器没有安装过cdh，如果安装过，失败了，重新进入这个页面后则会出现
有某个节点不可选，所以上面说过安装cdh之前一定要做备份，要不会浪费大量时间。如果自己选择的机器全部出现，那就全部选择后点击下一步：
在这里插入图片描述
4）.这一步很重要，因为是安装自己已经下载的cdh版本，如果不使用自己下载的cdh安装会非常的慢，也容易出现一些不知名的错误。所以点击自己的版本，我这里是6.2.0的，就是之前上传的那个。如果这里没有显示出自己上传的cdh的版本，则需要检查是否已经给/opt/cloudera/parcel-repo cloudera-scm用户的权限和是否执行：sha1sum CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel | awk ‘{ print $1 }’ > CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha命令，如果出现点击下一步即可：
在这里插入图片描述
5）.输入服务器的用户名密码后，点击下一步即可：

6）.这一步也很关键，有些安装cdh的文档上说要在之前安装cm-agent，但是我安装时如果之前安装了cm-agent，在这一步和下一步都会报错，所以不要单独安装，当你执行这一步的时候，他会自动安装的。安装完成后点击详细信息看看是否出现了错误信息，看看有没有红色部分，如果没有恭喜你安装成功了。点击下一步即可：
在这里插入图片描述
7）.如果上一步没有错误的信息，这一步也不会有任何的问题，如果图中三个横杠是白色的则是正常，如果是红色的则需要重新安装，需要将服务器还原到最初备份的状态。如果没有问题，耐心等待即可。有可能会直接跳转，有可能让你点击完成。在这里插入图片描述
8）.如果实在不知道如何选择，重新打开一个网页重新登录后就会出现如下页面了，你的cdh集群已经安装完毕了。这样你就可以通过图中的方法安装大数据需要的插件了。

9）.点击添加服务后就会出现如下页面，安装你需要的服务即可。单个组件的安装方法就不说了，安装时用点心就不会安装出错，就算出错也可以删除后重新安装
在这里插入图片描述

我的完整安装文档以及需要的安装包在这个连接，如果需要下载即可：
https://download.csdn.net/download/weixin_38411472/11464889

weixin_38411472

关注

1
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
cdh详细安装文档

CDH6.2.0完整安装版一.简介对于刚入手的人来说，也许不知道cdh都能做什么，和传统的hadoop有啥区别。今天我简单的做个介绍，cdh你可以认为它就是一个工具，也可以说是一个软件，在这个工具上面存在这很多的大数据框架。它分为免费版和收费版，就免费版来说它包括：ADLS、Accumulo、Flume、HBase、HDFS、Hive、Hue、Impala、Isilon、Java KeySt...
复制链接

扫一扫