安装ubuntu14.04.2集群环境下的cloudera5.4.7+CDH5

一，虚拟机

1，vSphere安装

在服务器上裸装vSphere6.0.0，在本机windows安装vSphere Client

2，ubuntu14.04单节点安装

在vSphere上新建1台虚拟机。之后安装ubuntu14.04完成后，注意将光驱配置修改为“客户端”配置，之后按enter继续完成ubuntu的安装。

进入系统后，修改/etc/network/interfaces ，之后重启网络服务失败。。汗啊，重启吧。

修改为国内源 vi /etc/apt/sources.list (没办法，还没装vim只能vi了）

sudo apt-get update

sudo apt-get install openssh-server

sudo apt-get install vim

3，ubuntu14.04复制

a, 在vsphere上导出OVF模板（导出）

b, 部署OVF模板（克隆）

二，安装Cloudera Manager

1，参考官网说明步骤

http://www.cloudera.com/content/www/en-us/documentation/manager/5-1-x/Cloudera-Manager-Installation-Guide/Cloudera-Manager-Installation-Guide.html

2，配置网络集群环境

虚拟机规划了ClouderaManager，CDH001，CDH002，CDH003

配置各自的hostname (各台机器的/etc/hosts里都要一致）

三，主要遇到的问题

1，新建虚拟机ubuntu14.04.01lts，bridge 模式 ping 不通网关。原因是需要使用管理员启动vm station，才有vmnet0

2，桥接模式下，配置正确，但是无法ping通网关。原因是选择网卡时，选择了自动，可能有多个网卡，选错了。方法是禁用或者手动选择。

3，2台虚拟机，都是桥接模式，第一台有eth0，第二台没有。在虚拟机配置中，增加一个网络适配器。删除第二台虚拟机中的网络适配器1，新建网络适配器2.

4，ubuntu 复制粘贴，vmware tools安装。

5，ubuntu 14.04 root 远程登录需要开启，修改文件 /etc/ssh/sshd_config

6，自己做ubuntu的源(提供给集群环境使用），使用apache2时，配置目录已改为/var/www/html

7，agent信号检测问题，安装ntp。

8， host acquiring installati on lock forever  https://community.cloudera.com/t5/Cloudera-Manager-Installation/host-acquiring-installation-lock-forever/td-p/15292  you can remove /tmp/.scm_prepare_node.lock

9，集群安装时，agent节点安装较慢，之前试图使用ubuntu源，但是CDH2选到了LAN里的，CDH1选到了官网的。后来使用scp的方式把 agent 和 daemons两个包拷到了 /var/cache/apt/archives里。继续安装

10，agent节点需要安装jre，否则会造成 agent失败。

11，选择从主机安装

12，报heart beating错误，CDH1和CDH2需要修改config.ini listening_port为7182

13，报 error failed to connect to previous supervisor. 网上说有可能是权限问题，没有使用root安装。

https://groups.google.com/a/cloudera.org/forum/#!msg/scm-users/Gv8H-rfz1wQ/90jwLcYlDwIJ

14，hostname 3台机器必须一致，之前有2台填了2项 ip name，1台填了3列，因此错误；改为都是2项，ok

15，页面安装时，报jdbc driver cannot be found，sudo apt-get install libmysql-java

16，mysql是安装在CDH上的，不是CDH1上。填数据库时，要注意改主机名。

17，我使用了dns。/etc/hosts中如果包含规范名称，造成host -v -t A `hostname`时，host not found。

http://www.cloudera.com/content/cloudera/zh-CN/documentation/core/v5-3-x/topics/cdh_ig_networknames_configure.html

18，注意要sudo passwd root，不然可能会造成authentication fail 的错误

19，由于CDH002和CDH003是从CDH001克隆出来的，uuid一样，因此需要把CDH002和CDH003的uuid删除。现象就是集群里面机器有时是这个，有时是那个,始终只有3个中的一个。 http://www.aboutyun.com/forum.php?mod=viewthread&tid=11054

20，修改了机器的ip后。出现各种问号。管理portal上重启了cloudera manager service即可。

21，ntp有可能同步失败，/var/log/syslog里面有写。

22，cdh5源码包 地址  http://archive-primary.cloudera.com/cdh5/cdh/5/

23，一定要把windows和linux的用户改成一样，比如都是root，不然老是出权限问题

24，添加新机器时，已经是一个月后了，出了新版本。原来是5.4.7.1，现在是5.4.8.1。报agent版本不匹配。

    解决方法：dpkg --purge cloudera-manager-agent

                      dpkg --purge cloudera-manager-daemons

                      dpkg -i cloudera-manager-daemons_5.4.7-1.cm547.p0.10~trusty-cm5_all.deb

                      dpkg -i cloudera-manager-agent_5.4.7-1.cm547.p0.10~trusty-cm5_amd64.deb

    然后 restart agent

25，启动hdfs时，报错 Canary 测试无法在目录 /tmp/.cloudera_health_monitoring_canary_files 中创建文件。

    经过查看日志，发现  Name node is in safe mode.

    解决方法：sudo -uhdfs hdfs dfsadmin -safemode leave

26，hdfs报错，副本不足。经过查看，原来是CDH001，CDH002，CDH003是DataNode。改为了CDH003，CDH004，CDH005是DataNode。

    解决方法：暂时规避，把CDH001和CDH002也添加上去成为DataNode。以后再看如果搞rep迁移

    (补充：迁移了可以在namenode上使用下面命令即可解决：hadoop dfsadmin -refreshNodes）。

27，修改集群的机器后，cloudera manager数据库需要更新内容。 http://www.it165.net/admin/html/201509/6648.html

28，新增节点时，portal上报Name or service not known。实际是需要 sudo passwd root

29，修改了主机的hostname以后，添加该节点时，除了修改postgresql里面的内容以外，还需要修改配置文件。否则会报以下错误。

    

    cd /etc/cloudera-scm-server/

    grep -r "cloudera-manager.cdsf.com" *

    然后修改找出来的db.properties文件 -- vim db.mgmt.properties

    修改后重启 sudo service cloudera-scm-server restart

    最好不要改cloudera-manager的hostname名字，否则可能出现各种问题。

30，cloudera manager的postgresql里面

31，当复制了cloduera manager时，postgresql的configs表里的hive和oozie等信息必须在 postgresql里有对应的database。如果没有，卸载了服务重新安装。