CDH6.0、6.1篇：4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)

前置工作：

在CDH安装之前必须保证NODE1主节点中的以下程序均已启动

• 1.每台机器：根据aliyun提供的服务进行 时间同步：ntpdate -u ntp6.aliyun.com

   启动服务 
   systemctl start ntpd、systemctl restart ntpd 
   查看是否启动 ps -ef | grep ntpd
   开机启动 systemctl enable ntpd.service 
   查看时间同步状态 ntpstat 
  

  查看时间：

  date 或 timedatectl

• 2.必须保证MySQL启动了，才能正常启动Cloudera Manager Server：

service mysql start

• 3.systemctl start httpd 必须保证已启动 httpd

启动httpd服务之后，可以浏览器查看 192.168.88.100/cm6.1/ 和 192.168.88.100/cdh6.1/

• 4.systemctl start cloudera-scm-server

启动之后需要一段时间才能完全整个启动(一般一分钟之内)，才可以访问得到 192.168.88.100:7180/cmf/login

  systemctl stop cloudera-scm-server	
  systemctl restart cloudera-scm-server		

启动Cloudera Manager Server，一般自动启动，无需手动

• 1.ps -ef | grep cloudera-scm-server 查看是否启动
• 2.systemctl status cloudera-scm-server 查看启动状态，启动正常显示 Active: active (running)
• 3.cloudera-scm-server 默认使用的端口 7180，那么就可以通过 192.168.88.100:7180/cmf/login 访问 CM netstat -lnpt | grep 7180 显示 tcp 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN 68289/java

CDH安装

1.CDH集群安装向导

1.通过 192.168.88.100:7180/cmf/login 访问 CM

2.可以忽略这个自动TLS自动安装，点击“继续”跳到下一个页面

3.输入主机ip或者名称，点击搜索找到主机后点击继续

4.选择自定存储库

5.使用Parcel选择，点击“更多选项”,点击“-”删除其它所有地址，输入 http://192.168.88.100/cdh6.1.0/ 或 http://192.168.88.100/cdh6.0.0/，点击“保存更改”，点击“继续”

6.进入下一步 安装jdk，点击“继续”

7.进入下一步配置ssh账号密码(均为 itcast)，点击“继续”

8.进入下一步，安装Cloudera Manager相关到各个节点，等待agent安装完毕后，自动跳转到下一步开始分发parcel，点击“继续”

9.进入下一步主机检查，确保所有检查项均通过。Fayson的机器因为有多个Java版本有一些警告，此步忽略。

1.警告：
从CDH 6开始，PostgreSQL支持的Hue要求Psycopg2版本至少为2.5.4，有关详细信息，请参阅文档。
如果主机不运行CDH 6，或者不使用PostgreSQL运行Hue，或者不兼容RHEL 6，则可以忽略此警告。
以下主机具有不兼容的Psycopg2版本“2.5.1”：
2.解决：

首先安装epel扩展源：yum -y install epel-release
更新完成之后，就可安装pip：yum -y install python-pip
安装完成之后清除cache：yum clean all
更新pip：pip install --upgrade pip
更新psycopg2：pip install --upgrade psycopg2 还是无法解决，暂时忽略
其他：
安装 python3 如下：
yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make
https://www.python.org/ftp/python/3.7.2/Python-3.7.2.tar.xz
tar -xvJf Python-3.7.2.tar.xz
cd /root/Python-3.7.2
./configure prefix=/usr/local/python3
make && make install
ln -s /usr/local/python3/bin/python3 /usr/bin/python
执行python3 -V  看看输出的是不是python3的版本
执行python2 -V 和 python -V 看到的就是python2的版本
如果执行 python -V 是python3的版本的话，需要修改如下情况：
因为执行yum需要python2版本，所以我们还要修改yum的配置，执行 vi /usr/bin/yum 把 #! /usr/bin/python 修改为 #! /usr/bin/python2
同理 vi /usr/libexec/urlgrabber-ext-down 文件里面的 #! /usr/bin/python 也要修改为 #! /usr/bin/python2

10.选择需要安装的服务

11.进入集群角色分配

https://www.cloudera.com/documentation/enterprise/6/6.0/topics/cm_ig_host_allocations.html#host_role_assignments

不同组件的分配

12.测试数据库连接

和前面的MySQL数据库建立的数据库名和用户名密码是相关的

create database metastore default character set utf8;  
CREATE USER 'hive'@'%' IDENTIFIED BY 'password';   
 
create database am default character set utf8;   
CREATE USER 'am'@'%' IDENTIFIED BY 'password';   

1.强烈不推荐写bind-address=xxx，那么后面的CDH安装对应的组件时要填写的“数据库主机名称”默认使用主机名。
2.如果/etc/my.cnf中配置了bind-address=localhost 的话，那么在CDH的安装页面中，配置连接数据库的主机名称必须为localhost。
缺点：但是在安装hue时，“数据库主机名称”并无法使用localhost或任何主机名，所以造成无法安装hue
3.不配置 bind-address=localhost 的话，则使用主机名(NDOE1)作为此处的数据库主机名称
4.如果安装impala，在impala daemon节点上还需要安装perl：yum install perl
rpm -qa | grep perl
5.如果安装hue，需要在相关节点上安装python-lxml：yum install python-lxml
rpm -qa | grep python-lxml

13.进入目录设置，此处使用默认目录，根据实际情况进行目录修改（默认不需要修改）

14.正常全部安装：

15.错误一 解决：

Oozie

1./opt/cloudera/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702/lib/oozie

2./opt/cloudera/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702/lib/oozie/libext

3./var/lib/oozie

4.只需要在 oozie service 所在的 node1节点 配置即可

下载ExtJS库（必须是2.2版）ext-2.2 
下载地址

http://archive.cloudera.com/gplextras/misc/ext-2.2.zip

yum install unzip 
unzip /var/lib/oozie/ext-2.2.zip -d /var/lib/oozie
chown -R oozie:oozie /var/lib/oozie/ext-2.2 或 chown -R oozie:oozie /opt/cloudera/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702/lib/oozie/libext/ext-2.2
chown -R oozie:oozie /var/lib/oozie/ext-2.2.zip 或 chown -R oozie:oozie /opt/cloudera/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702/lib/oozie/libext/ext-2.2.zip

需要把 mysql-connector-java.jar 和 ext-2.2.zip 也放到 /var/lib/oozie 或 libext 中。
因为 /opt/cloudera/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702/lib/oozie/libext 软连接到 /var/lib/oozie目录中，所以当在 libext 目录中解压 ext-2.2.zip时，
会自动在 /var/lib/oozie目录中 也同步一份 ext-2.2。
如果是手动安装oozie的话，那么是不存在libext文件夹的，所以也需要 mkdir libext

5.Hadoop的core-site.xml:

<!-- OOZIE -->
<property>
		<name>hadoop.proxyuser.[OOZIE_SERVER_USER].hosts</name>
		<value>[OOZIE_SERVER_HOSTNAME]</value>
</property>
<property>
		<name>hadoop.proxyuser.[OOZIE_SERVER_USER].groups</name>
		<value>[USER_GROUPS_THAT_ALLOW_IMPERSONATION]</value>
</property>

6.使用Oozie命令行工具检查Oozie的状态：

• 1.oozie admin -oozie http://node1:11000/oozie -status

  Oozie状态应为System mode: NORMAL
  或者可以尝试 export OOZIE_URL=http://node1:11000/oozie

• 2.oozie admin -shareliblist

• 3.oozie admin -status

7.oozie web ui：http://node1:11000/oozie/

oozie 使用文档：

http://node1:11000/oozie/docs/

手动安装oozie还要注意以下事情

如果是手动安装oozie而并非CDH安装oozie的话，还需要安装 tomcat

1.tar -zxvf apache-tomcat-7.0.92.tar.gz -C /root
mv apache-tomcat-7.0.92 tomcat

2.vim /etc/profile
第一种写法：
export TOMCAT_HOME=/root/tomcat
　　　 export PATH=$PATH:$TOMCAT_HOME/bin
第二种写法：
TOMCAT_HOME=/root/tomcat
PATH=$JAV{A}_{H}OME/bin:$PATH:/root/scala/bin:$TOMCAT_HOME/bin
export JAVA_HOME CLASSPATH PATH
source /etc/profile

3.任何路径下执行 startup.sh/shutdown.sh 都可以 启动/关闭 tomcat，执行 jps命令，查看到有 Bootstrap进程名字即表示启动成功

4.可以在 /root/tomcat/logs 查看tomcat的启动日志信息

5.把 hadoop和hcatalog库 拷贝到 /opt/cloudera/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702/lib/oozie/libext 或 /var/lib/oozie目录中

oozie server默认使用tomcat 6.0.41，而hadoop也有内置的server，如果按照上面两个命令把hadoop依赖的jar包都拷贝过去，
有可能出现冲突，这两个server使用的servlet、jsp版本很可能不一样。
这里需要把这几个jar包删除，不要放到libext中
jasper-compiler-5.5.23.jar
jasper-runtime-5.5.23.jar
jsp-api-2.1.jar

Hue

Impala

sqoop1

1.sqoop help
2.sqoop import \
--connect jdbc:mysql://192.168.20.41:3306/adm \
--username root \
--password admin \
--table userPortraitComplete \
--hive-table adm.userPortraitComplete \
--hive-import \
--m 1