CDH5.9安装

注：本安装说明是本人综合网上的安装文档参考得到的，可能因环境的不同，或者其他原因坑比较多。

参考文档

http://www.linuxidc.com/Linux/2017-01/139518.htm

http://blog.csdn.net/u010022051/article/details/51205765

1、需要准备的文件

cloudera-manager-el6-cm5.9.0_x86_64.tar.gz

CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel

CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1

manifest.json

hostbname

192.168.17.xx hadoop-master-xiaoyacrm

192.168.17.xx hadoop-worer4-xiaoyacrm

192.168.17.xx hadoop-worer3-xiaoyacrm

192.168.17.xx hadoop-worer2-xiaoyacrm

192.168.17.xx hadoop-worer1-xiaoyacrm

2、master到各个节点无密码登陆

ssh-keygen -t rsa

然后在主节点执行以下命令：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

scp文件到所有datenode节点：

scp ~/.ssh/authorized_keys root@datanode1:~/.ssh/

然后输入密码即可，以后再到其他机器就不需要密码额。

分发hostname

scp /etc/hosts root@hadoop-worer4-xiaoyacrm:/etc/

scp /etc/hosts root@hadoop-worer3-xiaoyacrm:/etc/

scp /etc/hosts root@hadoop-worer2-xiaoyacrm:/etc/

scp /etc/hosts root@hadoop-worer1-xiaoyacrm:/etc/

 

3、关闭防火墙(每个节点)

4、设置swap空间

vi /etc/sysctl.conf
末尾加上
vm.swappiness=10

使用scp批处理拷贝/etc/sysctl.conf到各节点

使用ssh批处理生效

sysctl -p

5、java安装

   解压并创建软连接

tar -zxvf jdk-8u112-linux-x64.tar.gz -C /opt/program/
ln -s /opt/program/jdk1.8.0_112/ /opt/java

  设置环境变量

vi /etc/profile
末尾添加
export JAVA_HOME=/opt/java
export PATH=$JAVA_HOME/bin:$PATH

  批处理拷贝

scp  /opt/program/jdk1.8.0_112/ /opt/program/jdk1.8.0_112/
scp  /etc/profile /etc/

  生效

source /etc/profile

   设置全局变量

echo "JAVA_HOME=/opt/java" >> /etc/environment




6、安装Mysql

yum安装Mysql

yum install -y mysql mysql-server mysql-devel 

设置随系统启动

chkconfig mysqld on

启动mysql

service mysqld start

设置root用户密码

mysql
USE mysql; 
UPDATE user SET Password=PASSWORD('你的密码') WHERE user='root'; 
FLUSH PRIVILEGES; 
exit;

设置允许远程登录

mysql -u root -p 
你的密码
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '你的密码' WITH GRANT OPTION; 

创建CM用的数据库

安装集群时按需创建，详见第七章第13步

--hive数据库
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
--oozie数据库
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
--hue数据库
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

这里还需要一个库：Reports Manager 

--Reports Manager 

create database report DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

否则在出现校验配置文件需要校验的时候会报错，我就是被这个坑了挺久的，当时修改配置文件有特殊字符，后面一直报错

安装CM
1、解压到/opt目录下，不能解压到其他地方，因为cdh5的源会默认在/opt/cloudera/parcel-repo寻找，而CM可以按照个人喜好安装
  
  

   
   
tar -zxvf cloudera-manager-el6-cm5.9.0_x86_64.tar.gz -C /opt/
mv /opt/cm-5.9.0/ /opt/program/
ln -s /opt/program/cm-5.9.0/ /opt/cm
  
  
2、将CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel 和 CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1移动到/opt/cloudera/parcel-repo
　　这样安装时CM就能直接找到了。
  
  

   
   
mv CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1 /opt/cloudera/parcel-repo/
  
  
3、将CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1重命名为CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha(去掉结尾的1)
　　非常重要。我试安装时，这点遗漏了，导致安装CDH的时候一直刷不出5.9版本。
    通过日志发现，没有manifest.json就会去下载，不能访问外网就报错了，但不影响安装CDH，还是mv一下吧
  
  

   
   
   mv manifest.json /opt/cloudera/parcel-repo/
  
  
  
  

   
   
   cd /opt/cloudera/parcel-repo/
   mv CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1 CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha
  
  
4、修改配置文件中的server_host
  
  

   
   
vi /opt/cm/etc/cloudera-scm-agent/config.ini

server_host=master
  
  
5、将mysql的JDBC驱动放入CM的lib目录下
JDBC驱动下载：http://dev.mysql.com/downloads/connector/j/
gz和zip都无所谓，最终要的是里面的jar包。
解压获得mysql-connector-java-5.1.40-bin.jar上传到集群。
  
  

   
   
mv mysql-connector-java-5.1.40-bin.jar /opt/cm/share/cmf/lib/
  
  
6、为CM创建数据库
  
  

   
   
/opt/cm/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p你的密码 --scm-host localhost scm scm scm
  
  
7、为每个节点创建cloudera-scm用户
  
  

   
   
useradd --system --home=/opt/cm/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
  
  
接下来其实可以直接在master上启动服务安装了，但因为其它节点没有CM，最后还是通过远程的yum在线下载再安装，我这设置了内部网络，其它节点是访问不了外网的，所以拷贝CM到其它节点进行完全离线安装。
8、拷贝CM到每个节点
  
  

   
   
./scp.sh /opt/program/cm-5.9.0/ /opt/program/cm-5.9.0/
./ssh.sh "ln -s /opt/program/cm-5.9.0/ /opt/cm"
  
  
9、在master上启动CM的service服务
  
  

   
   
/opt/cm/etc/init.d/cloudera-scm-server start
  
  
10、在所有你想作为worker的节点上启动CM的agent服务
  
  

   
   
/opt/cm/etc/init.d/cloudera-scm-agent start
  
  
安装CDH
http://hadoop-master-xiaoyacrm:7180/上开始安装CDH



接下来CM安装parcel包，图中提示host is in bad health，这个可以忽略，多等一会就会恢复正常。

一路继续