Centos7主机搭建CDH6.X机群_python-psycopg2 is needed by cloudera-manager-agen-CSDN博客

本文链接：https://blog.csdn.net/m0_37813354/article/details/105118147

1 操作系统要求

1.1 linux 版本

1.2 Cloudera管理器服务器的存储需求

3.4.2 本地ntp server端配置

3.4.3 本地ntp 客户端

3.5 python依赖

3.6 Perl 依赖

3.7 python-psycopg2依赖

3.7.1 安装epel-release

3.7.2 安装python-pip

3.7.3 升级pip

3.7.3 pip 安装 psycopg2

3.7.4 总结

3.8 iproute package依赖

4 数据库要求

4.1 安装mysql

4.1.1 检查系统总是否原有mysql如果有删除

6 离线部署CM server及agent

6.1 创建软件目录并解压软件

6.2 主节点master部署cm server

6.2.1 rpm安装cloudera manager 守护进程

6.2.2 rpm安装cloudera manager 服务进程

6.3 所有节点作为cm agent部署

6.3.1 安装cloudera agent 前要先安装的依赖

6.3.2 安装 cloudera agnet

6.4 修改agent配置，指向server节点地址

6.5 修改master节点的server配置

8 启动cloudera manager 的server和agent

10 在Cloudera Manager中添加集群

官网地址：

https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/configure_network_names.html

https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_version_packaging_download.html

我的安装包和镜像文件地址

链接：https://pan.baidu.com/s/1iM2nxSCY7aYK77MnHzmvZA 
提取码：060n 
复制这段内容后打开百度网盘手机App，操作更方便哦

1 操作系统要求

1.1 linux 版本

我用的是centos7.3

1.2 Cloudera管理器服务器的存储需求

① /usr 1G 以上
② /var 5G~1T
③ /opt 15G以上

其他没什么需要注意的了，根据自己的情况吧

1.3 我的主机规划

Ip	Hostname	Memory	核数	Disk	系统
192.168.1x2.x1	cluster2-master	16G	8	/:50G;/data:200G	Centos7.3
192.168.1x2.x2	cluster2-slave1	10G	4	/:50G;/data:200G
192.168.1x2.x3	cluster2-slave2	10G	4	/:50G;/data:200G
汇总		36G	16	750G

2 准备linux系统配置环境

（全部主机都要操作，全部用root用户）

2.1 修改主机名

vim /etc/hostname

三台机器分别改成：

cluster2-master

cluster2-slave1

cluster2-slave2

2.2 配置主机名ip映射

cdh推荐我们使用dns服务进行映射。主机数量比较少所以直接

三台机器都要做

vim /etc/hosts
192.168.1X2.x1 cluster2-master
192.168.1X2.x2 cluster2-slave1
192.168.1X2.x3 cluster2-slave2

2.3 关闭防火墙

查看状态：firewall-cmd --state
关闭防火墙：systemctl stop firewalld
防止开机自启：systemctl disable firewalld
查看状态：firewall-cmd --state

2.4 关闭selinux

cdh官网也说了要关，不关会有一些问题。

Cloudera Enterprise, with the exception of Cloudera Navigator Encrypt, is supported on platforms with Security-Enhanced Linux (SELinux) enabled and in enforcing mode. Cloudera is not responsible for policy support or policy enforcement. If you experience issues with SELinux, contact your OS provider.

 vi /etc/selinux/config
将SELINUX设置为：SELINUX=disabled

注意别改错了，是SELINUX不是SELINUXTYPE，如果改错了将无法开机。

我就曾经见到有人把disabled单词写错了导致无法开机

比如：

3 软件依赖

所有机器都做依赖

3.1 安装jdk

仅支持64位JDK。Cloudera Manager 6和CDH 6不支持JDK7。尽管CDH 5的所有版本均支持JDK 7，但由Cloudera Manager 6.x管理的CDH 5.x群集必须在所有群集主机上使用JDK 8。Cloudera Manager 6和CDH 6支持Oracle JDK8。CDH5.3和更高版本也支持JDK 8。

Cloudera Enterprise 6.1.0和更高版本以及Cloudera Enterprise 5.16.1和更高版本支持OpenJDK 8。有关安装和迁移的说明，请参阅升级JDK。

CDH 6不支持使用JDK 7编译的应用程序。在升级到CDH 6之前，必须使用JDK 8重新编译应用程序。

任何Cloudera Manager或CDH版本均不支持Oracle JDK 9。

除非明确排除，否则Cloudera支持从引入该支持的版本开始对主要JDK版本的更高版本的更新。当安全受到威胁时，Cloudera会排除或删除对某些Java更新的支持。

不支持在不同JDK版本上的同一集群内运行CDH节点。所有群集主机必须使用相同的JDK更新级别。

除非明确排除，否则从最低要求的版本开始，Cloudera Enterprise 6支持所有JDK 8更新。高于未列出的最小值的更新受支持，但未经测试。Cloudera Manager 6和CDH 6需要JDK 8。

警告：

由于JDK问题影响CDH功能，因此不支持JDK 8u40、8u45、8u60和8u242：
- JDK 8u40和8u45受JDK-8077155的影响，这会影响某些Web UI的HTTP身份验证。
- JDK 8u60与AWS开发工具包不兼容，并导致DistCP出现问题。有关更多信息，请参见知识库文章。
- JDK 8u242导致Kerberos故障。
Hue中的Oozie工作流图显示不适用于低于8u40的JDK版本。

注意：

他说安装java要安装到/usr/java，

请使用yum安装或者rpm安装，这样jdk以会安装到默认位置上，由于CM自身机制的问题，如果这两个软件未安装到默认的位置上会导致许多额外的配置以及很多不期而遇的问题我之前用的tar包安装jdk总是报错JAVA_HOME找不到错误现在我使用rpm安装之后就没问题了java 安装在/usr/java/目录

3.1.1 检查系统内原有jdk

rpm -qa | grep java

检查系统内原有jdk如果有删除干净

我的是新做的系统不需要删除

3.1.2 rpm 安装jdk

[root@cluster2-master software]# rpm -ivh jdk-8u131-linux-x64.rpm
[root@cluster2-slave1 software]# rpm -ivh jdk-8u131-linux-x64.rpm
[root@cluster2-slave2 software]# rpm -ivh jdk-8u131-linux-x64.rpm

3.1.3 配置JAVA_HOME

[root@cluster2-master jdk1.8.0_131]# vim /etc/profile
[root@cluster2-slave1 jdk1.8.0_131]# vim /etc/profile
[root@cluster2-slave2 jdk1.8.0_131]# vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_131
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

安装完成后

source /etc/profile
java -version

验证下java是否安装成功

3.2 ssh密钥配置

配置免秘钥登录，3台机器都做

3.2.1 生成公钥/私钥对

一直回车即可

[root@cluster2-master software]# ssh-keygen -t rsa

3.2.2 分发公钥

所有机器都这么做给自己反一份公钥，给另外两台也发一份公钥

[root@cluster2-master software]# ssh-copy-id -i cluster2-master //发给自己
[root@cluster2-master software]# ssh-copy-id -i cluster2-slave1 //发给slave1
[root@cluster2-master software]# ssh-copy-id -i cluster2-slave2 //发给slave2

3.3 修改时区

所有机器都这么做

3.3.1 现有系统时区

[root@cluster2-master etc]# ls -al /etc/localtime

3.3.2 修改成东八区

[root@cluster2-master ~]# timedatectl set-timezone Asia/Shanghai

[root@cluster2-master ~]# timedatectl 
      Local time: Mon 2020-03-30 13:31:31 CST
  Universal time: Mon 2020-03-30 05:31:31 UTC
        RTC time: Mon 2020-03-30 05:31:31
       Time zone: Asia/Shanghai (CST, +0800)
     NTP enabled: no
NTP synchronized: yes
 RTC in local TZ: no
      DST active: n/a

[root@cluster2-master ~]# ls -al /etc/localtime
lrwxrwxrwx 1 root root 35 Mar 30 13:31 /etc/localtime -> ../usr/share/zoneinfo/Asia/Shanghai

3.4 配置ntp

3.4.1 安装ntp

[root@cluster2-master ~]# yum -y install ntp
[root@cluster2-slave1 ~]# yum -y install ntp
[root@cluster2-slave2 ~]# yum -y install ntp

3.4.2 本地ntp server端配置

我选着cluster2-master 机器作为我的ntp server,因此这一步只在cluster2-master上做

增加

server ntp.aliyun.com

[root@cluster2-master etc]# systemctl restart ntpd.service
[root@cluster2-master etc]# systemctl status  ntpd.service
[root@cluster2-master etc]# ntpq -p

设置ntp开机启动

因为centos7 默认同步方式是chrony同步，如果chrony已经是开机启动了（systemctl is-enabled chronyd检查是否开机启动），然后使用systemctl enable ntpd 设置开机启动不生效，需要先关掉chrony的开机启动：

systemctl is-enabled chrony
systemctl disable chronyd

然后再设置ntp 开机启动

systemctl enable ntpd

systemctl is-enabled ntpd