离线搭建CDH5,ClouderaManager

安装JDK（所有节点）省略

 

创建统一账号：
useradd  hadoop
passwd  hadoop

 

关闭防火墙
service iptables stop

 

统一时间：
date -s "2014-9-10 15:11:00"
hwclock --systohc

service ntpd start
chkconfig ntpd on

vi /etc/sysconfig/seliunx

SELINUX=disabled       #修改成这样,需要重启生效。
setenforce 0         #执行后不需要重启生效。

 

2.配置主机名
vi /etc/hosts
127.0.0.1   localhost
192.168.1.171   hadoop1
192.168.1.172   hadoop2
192.168.1.173   hadoop3
192.168.1.177   hadoop4

hostname hadoop1

vi /etc/sysconfig/network

hadoop1

 

配置免秘钥登入（省略）

 

1、查找以前是否装有mysql
命令：rpm -qa|grep -i mysql
可以看到mysql的两个包：
mysql-4.1.12-3.RHEL4.1
mysqlclient10-3.23.58-4.RHEL4.1
2、删除mysql
删除命令：rpm -e --nodeps 包名

( rpm -ev mysql-4.1.12-3.RHEL4.1 )

3、删除老版本mysql的开发头文件和库
命令：rm -fr /usr/lib/mysql
rm -fr /usr/include/mysql
注意：卸载后/var/lib/mysql中的数据及/etc/my.cnf不会删除，如果确定没用后就手工删除
rm -f /etc/my.cnf
rm -fr /var/lib/mysql

安装mysql 64位
 
 /usr/bin/mysqladmin -u root password admin
grant all privileges on *.* to 'root'@'%' identified by 'andrew’ ;
给来自任何IP地址的用户user分配可对所有数据库的所有表进行所有操作的权限限，并设定口令为'andrew'。

Mysql配置（master节点）
--hive数据库
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci
--集群监控数据库
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci
--hue数据库
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci
以上数据库，可能会根据安装组件的不同略有差别。 给用户授权（这里密码设为hadoop）
grant all on *.* to root@"%" Identified by "hadoop";

 

安装Cloudera Manager 5（cm5）
 
下载地址http://archive-primary.cloudera.com/cm5/cm/5/，根据自己的系统选择相应的版本，本次安装选用的是cloudera-manager-el6-cm5.0.0_x86_64.tar.gz。下载完成后只上传到master节点即可。然后解压到/opt目录下，不能解压到其他地方，因为cdh5的源会默认在/opt/cloudera/parcel-repo寻找，怎么制作cdh5的本地源文件会在之后介绍。

 

给所有节点添加cloudera-scm用户：
useradd --system --home=/opt/cm-5.0.0/run/cloudera-scm-server --no-createhome --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

修改/opt/cm-5.0.0/etc/cloudera-scm-agent/config.ini 下面的serer_host
server_host=hadoop1

为Cloudera Manager 5建立数据库：

/opt/cm-5.0.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -padmin --scm-host localhost scm scm scm

格式是:scm_prepare_database.sh 数据库类型  数据库 服务器 用户名 密码  –scm-host  Cloudera_Manager_Server所在的机器，后面那三个不知道代表什么，直接照抄官网的了。 因为我们用的是Mysql数据库，所以我们需要下载Mysql的JDBC驱动，本次从官网上下载最新稳定版：mysql-connector-java-5.1.30.tar.gz，解压之后找到mysql-connector-java-5.1.30-bin.jar放到/opt/cm-5.0.0/share/cmf/lib/目录下

 

开启Cloudera Manager 5 Server端：
/opt/cm-5.0.0/etc/init.d/cloudera-scm-server start

注意server首次启动不要立即关闭或重启，因为首次启动会自动创建相关表以及数据，如果因为特殊原因中途退出，请先删除所有表以及数据之后再次启动，否则将会出现启动不成功的情况。 开启Cloudera Manager 5 Agents端。 先scp /opt/cm-5.0.0到所有datanode节点上.

 

然后在每台机器上开启Agents端：
scp -r  /opt/cm-5.0.0 root@hadoop2:/opt/cm-5.0.0
scp -r  /opt/cm-5.0.0 root@hadoop3:/opt/cm-5.0.0
scp -r  /opt/cm-5.0.0 root@hadoop4:/opt/cm-5.0.0

等待拷贝成功，在所有datanode节点上启动：（注意必须以管理员权限启动）
sudo /opt/cm-5.0.0/etc/init.d/cloudera-scm-agent start

浏览器启动Cloudera Manager 5 控制台（默认端口号是7180），启动成功就会看到登陆页面。
http://hadoop1:7180
账号：admin 
密码：admin

 

先下载到本地http://archive-primary.cloudera.com/cdh5/parcels/5.0.0/，这里需要下载两样东西，首先是与自己系统版本相对应的parcel包，然后是manifest.json文件。下载完成后将这两个文件放到master节点的/opt/cloudera/parcel-repo下（目录在安装Cloudera Manager 5时已经生成），注意目录一个字都不能错，接下来打开manifest.json文件，里面是json格式的配置，我们需要的就是与我们系统版本相对应的hash码，因为我们用的是Centos6.5，所以找到如下位置：

 
在这个大括号的最下面找到“hash”所对应的值。

 
 
将“hash”的值复制下来6a54f45911474e1e2f98657e7fee0ff88ae801fa，然后创建一个文件，文件名与你的parel包名一致，并加上.sha后缀：

这样你的目录下将有这3个文件，将“hash”的值复制到新建的sha文件中，并保存，好了，我们的本地源制作完成了。再之后的操作就是控制台按照步骤安装即可。

打开http://hadoop1:7180，登陆控制台，默认账户和密码都是admin，安装时选择免费版，之后由于cm5对中文的支持很强大，按照提示安装即可，如果系统配置有什么问题在安装过程中会有提示，根据提示给系统安装组件就可以了。

如果在安装时选择了安装Hive，可能会遇到安装失败的问题，查看一下日志发现时安装Hive时需要安装JDBC驱动，所以同样我们将Mysql的驱动包拷贝到/opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/hive/lib/目录下，之后再继续安装就不会遇到问题了。