cdh6.2.0环境搭建

CDH搭建

一、环境构建

1、下载软件

cdh下载：https://archive.cloudera.com/cdh6/6.2.0/parcels/
cm下载：https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/
cm的key下载：https://archive.cloudera.com/cm6/6.2.0/
备注：centos7系统可以选择redhat7下的安装包

2、服务器环境规划

准备：准备好3台服务器，关闭了防火墙，服务器间的免密登录，jdk

192.168.56.10 Mysql、httpd、cm server
192.168.56.11 Cm Agent
192.168.56.12 Cm Agent

3、配置时间同步

安装 ntp 包
yum install -y ntp

10服务器：
vi /etc/ntp.conf
修改以下内容：
#server 0.rhel.pool.ntp.org iburst
#server 1.rhel.pool.ntp.org iburst
#server 2.rhel.pool.ntp.org iburst
#server 3.rhel.pool.ntp.org iburst
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10

启动时钟同步
systemctl start ntpd
systemctl enable ntpd
systemctl status ntpd

其他2台服务器：
vi /etc/ntp.conf
#server 0.rhel.pool.ntp.org iburst
#server 1.rhel.pool.ntp.org iburst
#server 2.rhel.pool.ntp.org iburst
#server 3.rhel.pool.ntp.org iburst
server 192.168.56.10

4、准备文件
cdh6.0

cm6.0

将msyql的连接包放到指定路径下

mysql-connector-java-5.1.46.jar

路径为/usr/share/java
ln -s mysql-connector-java-5.1.47.jar mysql-connector-java.jar

同时jdk再放置一份到指定目录下
/usr/java目录下

指定了jdk，就不用安装 oracle-JDK

5、安装 httpd 包

安装服务器：192.168.56.10

yum -y install httpd createrepo
mv cm6.0/ cdh6.0/ /var/www/html/
cd /var/www/html/cm6.0/
createrepo ./
cd /var/www/html/cdh6.0/
createrepo ./

安装之后要记得启动

systemctl enable httpd.service
systemctl status httpd.service
systemctl start httpd.service

访问测试：
http://192.168.56.10/cm6.0

6、安装mysql，安装到主服务器上，安装cm的服务器上

登录msyql,初始化数据库

set global validate_password_policy=0;
set global validate_password_mixed_case_count=0;
set global validate_password_number_count=3;
set global validate_password_special_char_count=0;
set global validate_password_length=3;
GRANT ALL PRIVILEGES ON *.* TO root@'%' IDENTIFIED BY 'xxx' WITH GRANT OPTION;
SHOW VARIABLES LIKE 'validate_password%';
create database scm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database rman DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
FLUSH PRIVILEGES;
exit;

二、安装Cdh

1、安装cm

yum -y install cloudera-manager-server

初始化scm数据库
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm mysql的账号 mysql的密码

2、启动cm

systemctl enable cloudera-scm-server.service
systemctl start cloudera-scm-server.service
systemctl status cloudera-scm-server.service

如果启动报错，再/var/logs/的cdh的日志目录下也没有日志信息，可以是jdk没有指定，需要将jdk的文件发送到/usr/java/目录下

3、配置服务

登录cm进行配置

进行主键扫描时，填写需要的主键ip;
192.168.56.10,192.168.56.11,192.168.56.12

注意：
选择“自定义存储库”，输入：http://192.168.56.10/cm6.0/

使用 parcel 选择，点击“更多选项”,点击“-”删除其它所有地址

添加地址：http://192.168.56.10/cdh6.0/

选中对应的cdh的parcel包

安装jdk这一步，不勾选，前面已经配置了

提供ssh登录凭证，输入服务器的root账号密码

检查主机正确性，有2个验证，安装提示信息进行修改

选择服务，选择”自定义服务“