说明:【all】【所有机器】【123】表示所有节点都执行
【1】表示只有1号节点执行
二、 ClouderaManager安装
2.1 安装Cloudera Manager Server、Agent
【all】mkdir /opt/cloudera-manager
【1】tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
2.2 创建用户cloudera-scm
【all】useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
2.3 配置CM Agent
修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中server_host
【1】vim /opt/cloudera-manager/cm-5.13.0/etc/cloudera-scm-agent/config.ini
- server_host=datalinux1
2.4 将cloudera-manager分发到各个节点
【23】scp -r /opt/cloudera-manager/cm-5.13.0 datalinux2:`pwd`
2.5 配置CM Server数据库
配置jdbc驱动,在主节点操作,然后分发到各个节点
cp /opt/tools/mysql-connector-java-5.7.38.jar /opt/cloudera-manager/cm-5.16.1/share/cmf/lib/
scp /opt/tools/mysql-connector-java-5.7.38.jar datalinux2:/opt/cloudera-manager/cm-5.16.1/share/cmf/lib/
scp /opt/tools/mysql-connector-java-5.7.38.jar datalinux3:/opt/cloudera-manager/cm-5.16.1/share/cmf/lib/
mkdir /usr/share/java
cp mysql-connector-java-5.7.38.jar /user/share/java
scp /usr/share/java/mysql-connector-java.jar datalinux2:`pwd`
scp /usr/share/java/mysql-connector-java.jar datalinux3:`pwd`
注意:jar包名称要修改为mysql-connector-java.jar
配置mysql数据库的权限【1】
- cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/
-./scm_prepare_database.sh mysql scm scm scm123456
#格式:数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器
#【此方法5.7不行】./scm_prepare_database.sh mysql cm -h datalinux1 -uroot -pdahai123456 --scm-host datalinux1 scm scm scm
#数据库先创建
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database cm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database scm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
2.6 创建Parcel目录
Server节点
【1】mkdir -p /opt/cloudera/parcel-repo
【1】chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
Agent节点
【123】mkdir -p /opt/cloudera/parcels
【123】chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
2.7 制作CDH本地源
下载好文件CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel以及manifest.json,将这两个文件放到server节点的/opt/cloudera/parcel-repo下。
打开manifest.json文件,里面是json格式的配置,找到与下载版本相对应的hash码,新建文件,文件名与你的parel包名一致,并加上.sha后缀,将hash码复制到文件中保存。
2.8 启动CM Server、Agent
【123】cd /opt/cloudera-manager/cm-5.16.1/etc/init.d/
【1】./cloudera-scm-server start
Sever首次启动会自动创建表以及数据,不要立即关闭或重启,否则需要删除所有表及数据重新安装
【123】./cloudera-scm-agent start
【往期回顾】
亲手搭建!从0到1搭建CDH集群(centos6.5+CDH5.16+jdk1.8+mysql5.7)(第一步:环境准备)