CDH5.7离线安装在centos6.5

CDH离线安装
部署环境：
 
系统：
Centos6.5
 
主机：
192.168.0.210 master
192.168.0.211 slave1
192.168.0.212 slave2
192.168.0.213 slave3
 
安装文件：
http://archive-primary.cloudera.com/cm5/cm/5/
http://archive-primary.cloudera.com/cdh5/parcels/5.0.0/
CDH-5.7.2-1.cdh5.7.2.p0.18-el6.parcel
CDH-5.7.2-1.cdh5.7.2.p0.18-el6.parcel.sha
cloudera-manager-el6-cm5.7.2_x86_64.tar.gz
jdk-7u80-linux-x64.tar.gz
mysql-5.7.10-linux-glibc2.5-x86_64.tar.gz
mysql-connector-java-5.1.39-bin.jar


my.cnf 针对mysql主目录mv成/opt/mysql的


libxslt 依赖包


 
1、所有节点关闭防火墙、selinux
service iptables stop 关闭防火墙服务 
chkconfig iptables off 关闭防火墙开机自启


setenforce 0(临时关闭)
vi /etc/selinux/config 编辑selinux 将SELINUX=enforcing改为disabled（需要重启才生效）


 
2、添加主节点hosts文件，并上传到其他所有节点
vi /etc/hosts //编辑hosts文件，追加以下内容
 
192.168.0.210 master
192.168.0.211 slave1
192.168.0.212 slave2
192.168.0.213 slave3
 
追加后如下图


 
scp /etc/hosts slave1:/etc //上传hosts到所有其他节点（此处仅示例了上传到slave1节点）


 
2、主节点上生成统一密钥对，基于统一密钥对做ssh免密码登录
ssh-keygen -t rsa //紧跟三次回车，生成无密码密钥对


 
ssh-copy-id master //生成公钥验证文件authorized_keys


 
 


 
 
scp -r /roo/.ssh slave1:/root/ //将/root/.ssh文件夹上传到其他所有节点上（此处仅示例了上传到slave1节点）
restorecon -r /root/.ssh //在其他所有节点上执行命令重置.ssh安全上下文


 
 
3、解压jdk、mysql、cm并拷贝CDH包到parcel-repo下
tar -zxvf jdk-7u80-linux-x64.tar.gz -C /opt/ 解压jdk到opt
 
tar -zxvf mysql-5.7.10-linux-glibc2.5-x86_64.tar.gz  -C /opt/ 解压mysql到opt
 
tar -zxvf cloudera-manager-el6-cm5.7.2_x86_64.tar.gz -C /opt/ 解压cm到opt
 
cp CDH-5.7.2-1.cdh5.7.2.p0.18-el6.parcel /opt/cloudera/parcel-repo/ 拷贝CDH到规定目录
 
cp CDH-5.7.2-1.cdh5.7.2.p0.18-el6.parcel.sha /opt/cloudera/parcel-repo/ 拷贝CDH验证文件
 
mv jdk1.7.0_80/ jdk 重命名jdk
 
mv mysql-5.7.10-linux-glibc2.5-x86_64/ mysql 重置mysql
 
vi /etc/profile 添加环境变量


 
 
source /etc/profile 编译profile使之实时生效
 
scp /etc/profile slave1:/etc/
source /etc/profile  上传至其他节点并在其他节点上执行编译命令
 
scp -r /opt/jdk/ slave1:/opt/ 上传jdk到所有其他节点
 
vi /opt/cm-5.7.2/etc/cloudera-scm-agent/config.ini 编辑agent配置制定server地址为主节点


 
 
scp -r /opt/cm-5.7.2/ slave1:/opt 上传cm到其他所有节点
 
4、安装mysql
mkdir /opt/mysql/data mysql目录下生成data目录
 
cp my.cnf /etc/ 覆盖原有的my.cnf
 
/opt/mysql/bin/mysqld --initialize-insecure --basedir=/opt/mysql  --datadir=/opt/mysql/data --user=root
初始化数据库


 
 
cp /opt/mysql/support-files/mysql.server /etc/init.d/mysql  将mysql加入服务
 
chkconfig mysql on 设置mysql开机自启
 
service mysql start 启动mysql服务
 
mysql -uroot -p 登录mysql，密码为空直接回车
 
set password=password('ethink2016'); 在mysql登录进去后更改密码
 
create database amon default charset utf8;
create database hive default charset utf8;
create database hue default charset utf8;
create database oozie default charset utf8; 建立上面4个数据库
 
grant all privileges on *.* to 'root'@'%' identified by 'ethink2016'; 赋权限
 
flush privileges; 刷新权限
 
exit 退出mysql


5、拷贝mysql-jdbc驱动包到个组件调用位置


cp mysql-connector-java-5.1.39-bin.jar 


/opt/cm-5.7.2/share/cmf/lib/ //初始化cm数据库用得到


/usr/share/java/mysql-connector-java.jar  //oozie


/opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/hive/lib/  //hive
 
6、添加cm用户、初始化cm、上传cm、启动cm
useradd --system --home=/opt/cm-5.7.2/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
/opt/cm-5.11.0/run/cloudera-scm-server/ 
添加cloudera-scm用户
 
/opt/cm-5.7.2/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pethink2016 --scm-host localhost scm scm scm 初始化建立cm数据库


 
ss 
scp -r /opt/cm-5.7.2/ slave1:/opt/ 上传cm到其他所有节点
 
/opt/cm-5.7.2/etc/init.d/cloudera-scm-server start 启动主节点的server
 
/opt/cm-5.7.2/etc/init.d/cloudera-scm-agent start 启动所有slave节点的agent
 
http://192.168.0.210:7180 访问主节点ip加7180端口
 
问题：
错误解决
 
可以在各节点添加下面命令到vi /etc/rc.local 启动文件里解决cm web界面检查主机警告信息
 
echo 0 > /proc/sys/vm/swappiness
 
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
 
vi /etc/rc.d/rc.local 将上面两行添加进去，开机执行
 
 
oozie 链接不上
 
scp mysql-connector-java-5.1.39-bin.jar A:/usr/share/java/mysql-connector-java.jar


hue链接不上mysql
安装libxslt包
yum install -y libxslt