最近一直在研究spark的实时计算，公司说最近可能会用CDH来替代Apache的hadoop，于是研究了一下怎么使用Cloudera Manager来安装CDH（以前一直都是手动安装的，不得不说Cloudera Manager实在是方便了很多），最方便的是不用考虑各种hadoop生态圈的版本问题，大赞
在网上看到了一些安装教程都太老旧了，按照上面的配置，自己安装的时候还出了不少岔子,于是自己写了一个教程，希望能够对大家有所帮助
关于CDH和Cloudera Manager
CDH (Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。
Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。
系统环境
实验环境：win下的VMware虚拟机
操作系统：CentOS7
JDK：1.8
相关软件的下载
先做好准备工作，将需要的软件先下载出来
Cloudera Manage：
cloudera-manager-centos7-cm5.11.0_x86_64.tar.gz
CDH以及需要的jar包
CDH-5.11.0-1.cdh5.11.0.p0.34-el7.parcel
CDH-5.11.0-1.cdh5.11.0.p0.34-el7.parcel.sha1
manifest.json
mysql的连接器
mysql-connector-java-5.1.42-bin.jar
下载地址：
http://archive.cloudera.com/cm5/cm/5/
http://archive-primary.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.11.0_x86_64.tar.gz
http://archive.cloudera.com/cdh5/parcels/5.11.0/
mysql连接器的
http://dev.mysql.com/downloads/connector/j/
准备工作：系统环境搭建
以下操作均用root用户操作。
1. 网络配置(所有节点)
vi /etc/sysconfig/network 修改hostname：
NETWORKING=yes
HOSTNAME=n1
通过service network restart重启网络服务生效。
vim /etc/hosts,修改ip与主机名的对应关系
192.168.1.129 node1
192.168.1.130 node2
192.168.1.131 node32.设置ssh无密码登陆
在所有节点上执行ssh-keygen -t rsa一路回车，生成无密码的密钥对。
在主节点上将公钥添加到认证文件中：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys，并设置authorized_keys的访问权限：chmod 600 ~/.ssh/authorized_keys。
scp文件到所有datenode节点：
scp ~/.ssh/authorized_keys root@node2:~/.ssh/
scp ~/.ssh/authorized_keys root@node3:~/.ssh/测试：在主节点上ssh node2，正常情况下，不需要密码就能直接登陆进去了。
3.卸载自带的openjdk
CentOS，自带OpenJdk，不过运行CDH5需要使用Oracle的Jdk，而且每个jdk的版本必须一致
卸载自带的OpenJdk，使用rpm -qa | grep java查询java相关的包，使用rpm -e --nodeps 包名卸载之。
去Oracle的官网下载jdk的rpm安装包，并使用rpm -ivh 包名安装之。
由于是rpm包并不需要我们来配置环境变量，我们只需要配置一个全局的JAVA_HOME变量即可，执行命令：
echo “JAVA_HOME=/usr/java/latest/” >> /etc/environment
4.安装mysql
安装mysql时发现没有发现这个包，上网谷歌了一下：
发现是CentOS 7 版本将MySQL数据库软件从默认的程序列表中移除，用mariadb代替了。
ariaDB数据库管理系统是MySQL的一个分支，主要由开源社区在维护，采用GPL授权许可。开发这个分支的原因之一是：甲骨文公司收购了MySQL后，有将MySQL闭源的潜在风险，因此社区采用分支的方式来避开这个风险。MariaDB的目的是完全兼容MySQL，包括API和命令行，使之能轻松成为MySQL的代替品。
也就是说现在下载安装mysql要用下面的命令，其他的都一样：
yum install mariadb-server mariadb
mariadb数据库的相关命令是：
systemctl start mariadb #启动MariaDB
systemctl stop mariadb #停止MariaDB
systemctl restart mariadb #重启MariaDB
systemctl enable mariadb #设置开机启动
设置root的初试密码：
mysqladmin -u root password ‘xxxx’
这里的xxxx是密码，下同
mysql -uroot -pxxxx进入mysql命令行，创建以下数据库：
hive
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
activity monitor
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
设置root授权访问以上所有的数据库：
授权root用户在主节点拥有所有数据库的访问权限
grant all privileges on *.* to 'root'@'node1' identified by 'xxxx' with grant option;
flush privileges;5.关闭防火墙和SELinux
CentOS 7.0默认使用的是firewall作为防火墙，所以关闭使用这个命令:
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启关闭SELINUX（实际安装过程中发现没有关闭也是可以的，不知道会不会有问题，还需进一步进行验证）:
setenforce 0 （临时生效）
修改 /etc/selinux/config 下的 SELINUX=disabled （重启后永久生效）
安装Cloudera Manager
安装Cloudera Manager Server 和Agent
主节点解压安装
cloudera manager的目录默认位置在/opt下，解压：tar -xzvf cloudera-manager*.tar.gz将解压后的cm-5.11.0和cloudera目录放到/opt目录下。
为Cloudera Manager 5建立数据库
将我们之前下载好的解压，找到mysql-connector-java-5.1.42-bin.jarr，放到/opt/cm-5.11.0/share/cmf/lib/中。
在主节点初始化CM5的数据库：
/opt/cm-5.11.0/share/cmf/schema/scm_prepare_database.sh mysql cm-hlocalhost -uroot -pxxxx –scm-host localhost scm scm scm
Agent配置
修改/opt/cm-5.11.0/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。
同步Agent到其他节点
scp -r /opt/cm-5.11.0 root@node2:/opt/
scp -r /opt/cm-5.11.0 root@node3:/opt/
在所有节点创建cloudera-scm用户
useradd –system –home=/opt/cm-5.11.0/run/cloudera-scm-server/ –no-create-home –shell=/bin/false –comment “Cloudera SCM User” cloudera-scm
准备Parcels，用以安装CDH5
将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中。
相关的文件如下：
CDH-5.11.0-1.cdh5.11.0.p0.34-el7.parcel
CDH-5.11.0-1.cdh5.11.0.p0.34-el7.parcel.sha1
manifest.json
最后将 CDH-5.11.0-1.cdh5.11.0.p0.34-el7.parcel.sha1，重命名为 CDH-5.11.0-1.cdh5.11.0.p0.34-el7.parcel.sha，这点必须注意，否则，系统会重新下载 CDH-5.11.0-1.cdh5.11.0.p0.34-el7.parcel文件。
mv CDH-5.11.0-1.cdh5.11.0.p0.34-el7.parcel.sha1 CDH-5.11.0-1.cdh5.11.0.p0.34-el7.parcel.sha相关启动脚本
通过/opt/cm-5.11.0/etc/init.d/cloudera-scm-server start启动服务端。
通过/opt/cm-5.11.0/etc/init.d/cloudera-scm-agent start启动Agent服务。
我们启动的其实是个service脚本，需要停止服务将以上的start参数改为stop就可以了，重启是restart。
CDH5的安装配置
Cloudera Manager Server和Agent都启动以后，就可以进行CDH5的安装配置了。
这时可以通过浏览器访问主节点的7180端口测试一下了（由于CM Server的启动需要花点时间，这里可能要等待一会才能访问），默认的用户名和密码均为admin：
到这里基本就大功告成了，有时间再来继续更，更多的配置可以参照官网
https://www.cloudera.com/downloads/manager/5-11-0.html
配置过程中大量参照了
http://www.cnblogs.com/jasondan/p/4011153.html
http://ciscolang.blog.51cto.com/8976580/1543810
这两篇博文，不过这篇文章版本比较旧了，出现了一些版本冲突，踩到了很多坑，版本的各种问题也是伤的不行，来记录一下，其实准备好的话基本不会有什么问题，希望后来的人少在这方面浪费时间
1478
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
