CDH安装宝典之ClouderaManager

配置本地repo库

下载我的阿里云盘文件

文件放置

#创建目录
mkdir -p /opt/cloudera/parcel-repo/
mkdir -p /opt/cloudera/cm/
yum install createrepo

CDH 6.2.0 的三个文件放到/opt/cloudera/parcel-repo/中，并且注意把sha256后缀的文件名修改为sha

#执行createrepo命令生成rpm元数据 最终/opt/cloudera/parcel-repo/会多一个repodata目录
cd /opt/cloudera/parcel-repo/ #(可以忽略，直接使用httpd的var、html CDH 下的就可以）
createrepo .

配置Web服务器

httpd 安装

# 将CHD 和 CM 包复制到 /var/www/html 下 重点要检查哈希码  
sha1sum CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel
cat CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha
sha1sum PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel
cat PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel.sha

cp -r /opt/cloudera/cm/ /var/www/html/CM #CM不存在
cp -r /opt/cloudera/cm/. /var/www/html/CM #CM存在

cp -r /opt/cloudera/parcel-repo/ /var/www/html/CDH #CDH不存在

# 各自目录下添加repodata文件
createrepo .

systemctl restart httpd

CDH
CM

repo

vim /etc/yum.repos.d/cm.repo
------------------------------------------
[cmrepo]
name=cm_repo
baseurl=http://192.168.166.30/CM
enable=true
gpgcheck=false
------------------------------------------

yum repolist
systemctl restart httpd
scp -r /etc/yum.repos.d/cm.repo root@node2:/etc/yum.repos.d/
scp -r /etc/yum.repos.d/cm.repo root@node3:/etc/yum.repos.d/

安装 Cloudera Manager Server (Node1)

安装JDK

（因为已经配置好repo仓库所以yum时会到192.168.166.30/CM目录下找到oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm进行安装）

yum -y install oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
yum -y install oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
# 方式二
rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
默认安装在 /usr/java/jdk1.8.0_181-cloudera 
# 配置 环境变量
vim /etc/profile
#etc/profile 文件中内容如下
JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
CLASSPATH=.:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH

#重新加载profile配置文件，让配置文件生效：
source /etc/profile
scp -r /etc/profile root@NODE2:/etc/
scp -r /etc/profile root@NODE3:/etc/

安装启动CM Server

yum -y install cloudera-manager-server

# 初始化数据库
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql cm cm password
#最后一行显示 All done, your SCM database is configured correctly!
ps -ef | grep mysql
#启动（必须保证MySQL启动了） 
systemctl start cloudera-scm-server

检查端口是否监听

yum install net-tools #安装 netstat
netstat -lnpt | grep 7180 #要等一段时间(5分钟）启动完全启动成功后，才能看到端口被使用，然后才能真正访问到CM的登录网页
#显示 tcp 0  0 0.0.0.0:7180  0.0.0.0:*  LISTEN  68289/java

日志

tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log
ll /var/log/cloudera-scm-server/

访问 CM

Web CM 安装步骤

服务命令

service cloudera-scm-server start

systemctl restart cloudera-scm-server.service
systemctl start cloudera-scm-server.service
systemctl status cloudera-scm-server.service

systemctl stop cloudera-scm-server.service

systemctl start cloudera-scm-agent.service
systemctl status cloudera-scm-agent.service
systemctl stop cloudera-scm-agent.service
systemctl restart cloudera-scm-agent.service

systemctl start cloudera-scm-server 
systemctl start cloudera-scm-agent
systemctl start cloudera-scm-server-db

journalctl -xe # 查看看看systemctl 的日志

问题

cloudera-scm-server启动失败问题汇总

JDK

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iO8x3ISH-1641781569354)(…/…/…/图床/安装搭建/jdk问题.png)]
通过命令journalctl -xe发现了一些端倪，提示JAVA_HOME找不到
由于是使用自身的jdk，但是CM使用/usr/java下的jdk；

$JAVA_HOME
mkdir -p /usr/java
ln -s /opt/jdk1.8  /usr/java/default

server和agent启动成功，但是7180端口无效

#修改server配置文件
vi /etc/cloudera-scm-server/db.properties
#自己的配置文件已经添加了配置，但是还是报错，由于是自建数据库
com.cloudera.cmf.db.setupType=EXTERNAL
#索性注释掉这个参数，启动就ok了

端口占用

netstat -tunlp | grep 7180

主机名 hosts

#cdh01机器名
vim /etc/sysconfig/network
#增加如下内容：
NETWORKING=yes
HOSTNAME=cdh


vi /etc/hostname
cdh

vi /etc/hosts
10.0.0.9 cdh

安装失败。 无法接收 Agent 发出的检测信号

是否端口占用

ps -ef | grep supervisord
kill -9 <processID>
sudo service  cloudera-scm-agent restart
#查看这个进程，然后杀死进程，然胡重新启动就可以了。

#然后在操作下面的步骤就可以了。
ps aux | grep super
root     18949  0.0  0.1 223624 12996 ?        Ss   11:16   0:00 /opt/cm-5.7.0/lib64/cmf/agent/build/env/bin/python /opt/cm-5.7.0/lib64/cmf/agent/build/env/bin/supervisord
root     23390  0.0  0.0 112656   972 pts/0    S+   11:37   0:00 grep --color=auto super
kill   18949
sudo service cloudera-scm-agent restart
#然后重新再安装就可以了。至此问题解决。

MainThread agent ERROR Heartbeating to 10.0.0.9:7182 failed

Hosts 节点识别出来后无法继续

登录 把主机删除

访问 CM