CDH5.15离线搭建简易版集群（完整版）

                                 运用CDH5.15离线搭建简易版集群

关于CDH和Cloudera

CDH（Cloudera的发行版，包括Apache Hadoop），是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境.Cloudera Manager则是为了便于在集群中进行的Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机，Hadoop的，蜂巢，星火等服务的安装配置管理做了极大简化。

安装说明

官方共给出了3中安装方式：第一种方法必须要求所有机器都能连网，由于最近各种国外的网站被墙的厉害，我尝试了几次各种超时错误，巨耽误时间不说，一旦失败，重装非常痛苦。第二种方法下载很多包。第三种方法对系统侵入性最小，最大优点可实现全离线安装，而且重装什么的都非常方便。后期的集群统一包升级也非常好。这也是我之所以选择离线安装的原因

系统环境

• 实验环境：windows10下的VMware虚拟机

• 操作系统：CentOS 7.2 x64（至少内存2G以上，这里内存不够的同学建议还是整几台真机配置比较好，将CDH的所有组件全部安装会占用很多内存，我一开始设置的虚拟机内存是1G ，安装过程中直接卡死了），本人采用分配方案为：三台虚拟机分别分别作为主站（主节点），SLAVE1，SLAVE2，配置分别为主内存为16G，SLAVE1内存为8G，SLAVE2内存为8G ，根据个人情况来进行配置但是掌握分配内存过小的话会出现内存不足等问题。

• Cloudera Manager：5.15.0

• CDH：5.15.0

相关包的下载地址

Cloudera Manager下载地址：http://archive.cloudera.com/cm5/redhat/5/x86_64/cm/5.15.0/RPMS/x86_64/

CDH安装包地址：http：//archive.cloudera.com/cdh5/parcels/latest/，由于我们的操作系统为CentOS7.2，需要下载以下文件：

• CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel

• CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1

• manifest.json

注意：与CDH4的不同，原来安装CDH4的时候还需要下载IMPALA，Cloudera Search（SOLR），CDH5中将他们包含在一起了，所以只需要下载一个CDH5的包就可以了

准备工作：系统环境搭建

以下操作均用根用户操作。

1.网络配置（所有节点都要执行以下操作）

1.1 修改主机名：

#编辑目录/etc/sysconfig/network
vi /etc/sysconfig/network
#添加以下内容
NETWORKING=yes
HOSTNAME=master

通过服务网络重启重启网络服务生效。

1.2修改ip与主机名的对应关系

#编辑文件
vi /etc/hosts
#将其中的内容改为你自己的信息
192.168.153.132   master
192.168.153.133   slave1
192.168.153.134   slave2

注意：这里需要将每台机器的IP及主机名对应关系都写进去，本机的也要写进去，否则启动代理的时候会提示主机名解析错误。

2.打通SSH，设置SSH无密码登陆

• 在主节点上执行以下代码一路回车，生成无密码的密钥对。

[root@master ~]# ssh-keygen -t rsa

• 将公钥添加到认证文件中，并设置authorized_keys文件的访问权限：

#将公钥添加到认证文件中
[root@master ~]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#设置authorized_keys的访问权限
[root@master ~]# chmod 600 ~/.ssh/authorized_keys

• SCP文件到所有datenode节点：

#将文件拷到slave1中
[root@master ~]# scp ~/.ssh/authorized_keys root@slave1:~/.ssh/
#将文件拷到slave2中
[root@master ~]# scp ~/.ssh/authorized_keys root@slave2:~/.ssh/

测试：在主节点上ssh n2，正常情况下，不需要密码就能直接登陆进去了。

       此时只是主访问SLAVE1和SLAVE2不需要密码但是SLAVE1和SLAVE2访问主还是要密码的所以此时要设置他们之间的相互免密