CDH5.11.2在centos6.4上完整安装分享

first of all：CDH官网安装资料很详细，前因后果都写的很清楚。附链接：
https://www.cloudera.com/documentation/enterprise/5-11-x/topics/cm_ig_install_path_c.html#cmig_topic_6_7
其中版本还是选择还是选5.11.x的稳定版即5.11.2，java选已经测试过的1.8u121版本，mysql是随便选的mysql-5.6.37-linux-glibc2.12-x86_64.tar.gz，mysql java connector选择的是mysql-connector-java-5.1.43-bin.jar

software	Edition
CDH	5.11.2
java	1.8u121
mysql	5.6.37
mysql-connector-java	5.1.43

三台机器，组成一个集群，机器是部署在曙光云上的三台虚拟机，参数64G RAM,16核
Installation:

1:安装一些必要的软件，这里建议用yum，软件安装如下

RHEL/CentOS

bind-utils
chkconfig
cyrus-sasl-gssapi
cyrus-sasl-plain
fuse
fuse-libs
gcc
httpd
init-functions
libxslt
mod_ssl
MySQL-python
openssl
openssl-devel
openssl-devel
perl
portmap
postgresql-server >= 8.4
psmisc
python >= 2.4.3-43
python-devel >= 2.4.3-43
python-psycopg2
python-setuptools
sed
service
sqlite
swig
useradd
zlib

我过程中只缺少了部分jar包，命令如下：
yum -y install perl perl-devel
yum -y install gcc
yum -y install openssh-clients
yum install numactl -y
yum install libaio* -y

2:前期准备

必要的，修改静态ip
vi /etc/sysconfig/network-scripts/ifcfg-eth0
修改主机名
vi /etc/sysconfig/network
修改hosts
vi /etc/hosts
不能注释掉ipv6的地址，在云主机上面ipv6地址很需要
配置selinux
Vi /etc/selinux/config
改为SELINUX=disabled
关闭防火墙
service iptables stop （临时关闭）
chkconfig iptables off （重启后生效）
配置ssh
ssh-keygen -t rsa -P ”
cat /id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 authorized_keys
每台机器都这么做，将每一台的id_rsa.pub传递给master，同样cat进authorized_keys，将有三台机器的authorized_keys赋予600的权限，并传输给两台工作节点。三台节点互信ssh对方两台是可以ping通的。
安装java
解压安装jar包即可，配置文件

tar zxvf jdk-8u121-linux-x64.tar.gz -C /usr/java
export JAVA_HOME=/usr/java/jdk1.8.0_121
scp -r /usr/java/* root@slave2:/usr/java/
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
source /etc/profile

安装ntp时钟校对服务
每个节点都要装yum install -y ntp
主节点配置/etc/ntp.conf,添加
restrict 192.168.77.0 mask 255.255.255.0 nomodify notrap
server 210.72.145.44 perfer # 中国国家受时中心
server 202.112.10.36 # 1.cn.pool.ntp.org
server 59.124.196.83 # 0.asia.pool.ntp.org
restrict 210.72.145.44 nomodify notrap noquery
restrict 202.112.10.36 nomodify notrap noquery
restrict 59.124.196.83 nomodify notrap noquery
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10机先与网络时间进行校对
ntpdate -u 202.112.10.36
然后启动服务
service ntpd start
2个work节点的配置/etc/ntp.conf
//这里server就是主节点
server 192.168.77.2
restrict 192.168.77.2 nomodify notrap noquery
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10tp服务
两台work节点ntpdate -u master
最后三台ntp的服务chkconfig ntp on开机自启
检验是否安装成功，在master的节点
ntpstat
得到这些信息，说明同步成功，假如未同步，等待5分钟再试
synchronised to NTP server (202.112.10.36) at stratum 3
time correct to within 275 ms
polling server every 256 s
这一块请参考http://acooly.iteye.com/blog/1993484
Mysql安装
yum安装请参考
http://www.cnblogs.com/huolarry/p/5885308.html
tar包安装请参考
http://blog.csdn.net/u014057054/article/details/52070390
详细思路是先卸载自带的，然后安装自己的
rpm -qa | grep mysql
rpm -e –nodeps mysql-libs-5.1.66-2.el6_3.x86_64
rm -rf /var/lib/mysql*
rm -rf /usr/share/mysql*
a 配置用户和用户组：
[root@localhost /]# groupadd mysql ←添加mysql用户组
[root@localhost /]# useradd -g mysql mysql ←创建mysql用户，并加入到mysql组
[root@localhost /]# mkdir -p /data/mysql ←创建数据库存放目录
[root@localhost /]# chown -R mysql:mysql /data/mysql/ ←设置数据库目录权限
[root@localhost /]# mkdir -p /usr/local/mysql ←设置安装目录

b上传mysql-5.6.37-linux-glibc2.5-x86_64.tar.gz到/usr/local/
[root@localhost ~]# cd /usr/local
[root@localhost local]# tar zxvf mysql-5.6.37-linux-glibc2.5-x86_64.tar.gz
[root@localhost local]# mv mysql-5.6.37-linux-glibc2.5-x86_64 mysql
c 配置
[root@localhost mysql]# cp ./support-files/my-huge.cnf /etc/my.cnf ←拷贝配置文件，若存在则覆盖
[root@localhost mysql]# vi /etc/my.cnf ←编辑，在[mysqld]下增加一行
datadir = /data/mysql
[root@localhost mysql]# ./scripts/mysql_install_db –user=mysql –basedir=/usr/local/mysql –datadir=/data/mysql ←生成mysql系统数据库
Error：安装mysql 缺少libnuma.so.1
yum install numactl -y
yum install libaio* -y
yum -y install perl perl-devel
[root@localhost mysql]# cp ./support-files/mysql.server /etc/rc.d/init.d/mysqld ←把mysql加入系统启动
[root@localhost mysql]# chmod 755 /etc/init.d/mysqld ←增加执行权限
[root@localhost init.d]# chkconfig mysqld on ←加入开机启动
[root@localhost init.d]# vi /etc/rc.d/init.d/mysqld ←编辑
basedir=/usr/local/mysql ←mysql程序安装路径
datadir=/data/mysql ←mysql数据存放vi 路径
[root@localhost mysql]# service mysqld start ←启动 成功则提示：Starting MySQL….. SUCCESS!
d 将mysql服务加入系统环境变量
[root@localhost mysql]# vi /etc/profile ←编辑
export PATH=$PATH:$JAVA_HOME/bin:/usr/local/mysql/bin ←在最后加上:/usr/local/mysql/bin
[root@localhost mysql]# source /etc/profile ←使其配置生效
e 设置密码
[root@localhost bin]# ./mysqladmin -u root password 123456 ←设置成功
设置成功后重新启动！
[root@localhost mysql]# service mysqld restart
f 删除匿名用户
[root@localhost ~]# mysql -u root -p ←通过密码登录
Enter password: ←输入密码
mysql> select user,host,password from mysql.user; ←查看用户信息
mysql> delete from mysql.user where user=”root” and host=”%”; ←删除匿名用户
g 新建用户
create user ‘hive’@’%’ identified by ‘123456’;
grant all on . to hive@’%’identified by ‘123456’ with grant option;
flush privileges;

3:正式安装

3.1 主节点上下载的tar包，解压的/opt/cloudera-manager目录下,这是默认路径，在不熟悉的情况下，我选择默认路径
tar -zxvf cloudera-manager-el6-cm5.11.2_x86_64.tar.gz -C /opt/cloudera-manager
3.2 新建一个parcel放置的目录
mkdir -p /opt/cloudera/parcel-repo
放入3样东西，cdh parcel目录下下载的，一般.sha文件里的hash值要与从manifest.json文件里面搜索处理对应版本的hash值要对应，这样才能识别到本地parcel
CDH-5.11.2-1.cdh5.11.2.p0.8-el6.parcel
CDH-5.11.2-1.cdh5.11.2.p0.8-el6.parcel.sha
manifest.json
3.3 3个 从节点上也新建parcels存放目录
mkdir -p /opt/cloudera/parcels
3.4 新建cloudera-scm用户，并对 一些文件赋予这个用户，用户组
useradd –system –home=/opt/cloudera-manager/cm-5.11.2/run/cloudera-scm-server/ –no-create-home –shell=/bin/false –comment “Cloudera SCM User” cloudera-scm
注意home目录与自己安装的版本路劲对应的
然后chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
3.5 主节点上mysql新建cm数据库
/opt/cloudera-manager/cm-5.11.2/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 –scm-host localhost scm scm scm
3.6 主节点上新建数据存储目录，并赋予用户，用户组
mkdir /var/lib/cloudera-scm-server
chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server
3.7 将mysql-connector-java 的jar包放入/opt/cloudera-manager/cm-5.11.2/share/cmf/lib/
3.8 修改agent.ini的server配置
vim /opt/cloudera-manager/cm-5.11.2/etc/cloudera-scm-agent/config.ini，修改server_host
server_host=master
3.9 将/opt/cloudera-manager/cm-5.11.2拷贝到其他两台机器的/opt/cloudera-manager目录下
3.10 开启server进程，和三台机器上的agent进程
主节点执行：
/opt/cm-5.11.2/etc/init.d/cloudera-scm-server start
/opt/cm-5.11.2/etc/init.d/cloudera-scm-agent start
其它节点执行：
/opt/cm-5.11.2/etc/init.d/cloudera-scm-agent start
3.11 在master:7180节点上组装第一个集群，一步一步走就行，我出现的问题如下
第一，最尴尬的莫过于识别不到本地包，一个都识别不到哦
我改进的方法是将所有东西全部清空，然后重新装，确保所有机器ipv6地址未注释；解压后的包cm5.11.2有cloudera-scm用户权限；且manifest.json与.sha的hash码一致
第二，java.lang.NoClassDefFoundError:org/apache/hadoop/fs/FSDataInputStream

解决方案：在spark-env.sh文件中添加:

export SPARK_DIST_CLASSPATH=$(hadoop classpath)

第三:7180界面都是提示无状态
过一会再查看，即可
3.12 成功的界面