接触CDH,深刻了解CM是不可缺少的环节。
首先,什么是Cloudera Manager?
Cloudera Manager,简称CM,用于管理CDH4集群,可进行节点安装、配置、服务配置等,提供Web窗口界面提高了Hadoop配置可见度,而且降低了集群参数设置的复杂度。
接下来就是安装,很多初学者总是把能够成功安装看的很重,其实这在对CM的利用中仅占很小的成分。
有如下几种安装方式:
1. 使用cloudera-manager-installer.bin安装
特点是安装时间比较长,执行这个安装文件就可以了,Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档
Cloudera Manager5及CDH5安装指导(终极在线安装)
可能遇到的问题:
当我们安装完毕CM,那么我们就要添加主机,主机添加完毕,我们会看到安装进度:
但并不是每个人都能看到上面进度,而是看到下面错误:
Detecting Cloudera Manager Server...
Detecting Cloudera Manager Server...
BEGIN host -t PTR 192.168.1.198
198.1.168.192.in-addr.arpa domain name pointer localhost.
END (0)
using localhost as scm server hostname
BEGIN which python
/usr/bin/python
END (0)
BEGIN python -c 'import socket; import sys; s = socket.socket(socket.AF_INET); s.settimeout(5.0); s.connect((sys.argv[1], int(sys.argv[2]))); s.close();' localhost 7182
Traceback (most recent call last):
File "<string>", line 1, in <module>
File "<string>", line 1, in connect
socket.error: [Errno 111] Connection refused
END (1)
could not contact scm server at localhost:7182, giving up
waiting for rollback request
解决方案:
mv /usr/bin/host /usr/bin/host.bak
2. 利用yum安装
Repository定义默认的下载源,在/etc/yum.repos.d下创建一个定义下载路径的文件。创建cloudera-manager.repo,内容如下:
[cloudera-manager]
name=Cloudera Manager
baseurl=http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4.1.0/
gpgkey=http://archive.cloudera.com/cm4/redhat/6/x86_64//cm/RPM-GPG-KEY-cloudera
gpgcheck=1
遇到的一些可能问题:
I. 内存过小,使用yum安装,MySQL配置至少需要4G内存,否则MySQL重启就会遇到unknown instance。
II. 界面无法访问,一种是Cloudera-manager-server没有完全启动起来,运行命令:
输入URL:host/ip:7180 ,比如172.16.77.60:7180。
一种则是权限问题,初次安装尽量使用root.还有我们需要会看日志。
下面为server日志
下面为agent日志
III. 无法找到cloudera agent客户端
如下命令安装agent
sudo apt-get install cloudera-manager-agent cloudera-manager-daemons
agent安装成功之后为什么不能界面上不能发现呢?这是因为在安装过程中,agent都指向了本地localhost,打开配置文件
sudo nano /etc/cloudera-scm-agent/config.ini
修改server_host为server ip地址
server_port为7180
首先重启Agent
sudo service cloudera-scm-agent restart
然后重启server
sudo service cloudera-scm-server restart
这时候会发现已经生效。
3. 使用Tarballs方式安装
安装命令如下:tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager