系统要求
系统:CentOS 6.5
Cloudera:CM5.2.0 + CDH 5.2.0
内存:主节点4G内存以上,其他节点需要2G以上内存
Hadoop版本选择
目前Hadoop比较流行的主要有2个版本,Apache和Cloudera版本。
Apache Hadoop:维护人员比较多,更新频率比较快,但是稳定性比较差。
Cloudera Hadoop(CDH):CDH:Cloudera公司的发行版本,基于ApacheHadoop的二次开发,优化了组件兼容和交互接口、简化安装配置、增加Cloudera兼容特性。
准备工作
以下步骤要在所有节点上执行
- 修改hostname
vi /etc/sysconfig/network
- 关闭SELinux
查看SELinux状态
getenforce
若SELinux没有关闭,按照下述方式关闭
vi /etc/selinux/config
修改SELinux=disabled。重启生效,可以等后面都设置完了重启主机
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - SELinux is fully disabled.
SELINUX=disabled
# SELINUXTYPE= type of policy in use. Possible values are:
# targeted - Only targeted network daemons are protected.
# strict - Full SELinux protection.
SELINUXTYPE=targeted
- 关闭防火墙
sudo service iptables stop
sudo chkconfig iptables off
sudo chkconfig iptables --list
- 网络配置
vim /etc/sysconfig/network-scripts/ifcfg-eth0
设置静态ip,以及指定ip地址
DEVICE="eth0"
BOOTPROTO="static"
IPADDR=192.168.1.110
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
DNS1=8.8.8.8
DNS2=8.8.4.4
GATEWAY=192.168.1.1
- 修改hosts文件
把所有要添加到集群中的主机都要加入hosts中,格式如下:
127.0.0.1 localhost
# CDH Cluster
192.168.1.110 master
192.168.1.111 slave1
192.168.1.112 slave2
以上步骤执行完毕后,重启主机
reboot
重启后再次检查下以上几点,确保环境配置正确。
提前下载(本教程中,CM和CDH版本均为5.2.0)
- 下载cloudera-manager.repo
修改baseurl中cm版本为实际版本,本例中改成5.2.0
[cloudera-manager]
# Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera Manager
baseurl=https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.2.0/
gpgkey =https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera
gpgcheck = 1
- 下载CM installer
- 下载CM rpms,目录下全部下载出来
- 下载CDH Parcel文件,只需要下载图中所示的3个文件
CDH文件下载
这里注意下,将.sha1文件后缀更改为.sha,同时把内容只保留hash码部分。(5.2.0版本sha文件内容本身就只包含hash码,不需要修改,其他版本请自行查看!)
Cloudera Manager安装
以下步骤要在所有节点上执行:
- 将cloudera-manager.repo文件拷贝到所有节点的/etc/yum.repos.d/文件夹下
- 验证repo文件是否起效
如果列出的不是你安装的版本,执行下面命令重试yum list|grep cloudera
yum clean all yum list | grep cloudera
- 将之前下载的rpms文件拷贝到所有节点下(任意目录)
切换到rpms目录下,执行yum -y install *.rpm
- 将之前下载的Parcel那3个文件拷贝到/opt/cloudera/parcel-repo目录下(如果没有该目录,请自行创建)
至此,/opt/cloudera/parcel-repo下面有三个文件: CDH-5.2.0-1.cdh5.2.0.p0.36-el6.parcel
mainfest.json
CDH-5.2.0-1.cdh5.2.0.p0.36-el6.parcel.sha
以下步骤请只在主节点上执行:
- 将下载好的bin文件拷贝到主节点任意目录下
- 进入该目录,给bin文件赋予可执行权限
sudo chmod +x ./cloudera-manager-installer.bin
- 安装CM
接下来全部next和yes就行了,因为所需要的rpm包已经提前下载下来了,这个过程会进行的非常快。./cloudera-manager-installer.bin
![](https://i-blog.csdnimg.cn/blog_migrate/4ccb27a6b5699631ae03d33bbf5d4d66.webp?x-image-process=image/format,png)
CDH集群安装
- CM安装成功后浏览器输入
http://ip:7180
,ip是CM安装的主机ip或者主机名。显示如下界面,用户名和密码都输入admin,进入web管理界面。
![](https://i-blog.csdnimg.cn/blog_migrate/ce502405ff54621d92ddadf55a796c52.webp?x-image-process=image/format,png)
如果打不开改网页,请耐心等待会。这个服务启动是需要一定时间的。
- 选择部署的版本,这里我们选择免费版的就可以了。
![](https://i-blog.csdnimg.cn/blog_migrate/536c22ba2af3be522f173f4e8a8447f6.webp?x-image-process=image/format,png)
- 点击继续
![](https://i-blog.csdnimg.cn/blog_migrate/35338a22d72ec11d14308f8d6585b2cf.webp?x-image-process=image/format,png)
- 选择添加的主机。输入主机ip或者主机名,点击搜索。
![](https://i-blog.csdnimg.cn/blog_migrate/d33fa98344f806591d769066e09c2d51.webp?x-image-process=image/format,png)
这里如果选择一系列主机可以输入如下的内容:
192.168.1.[101-105]
slave[1-3].com.cn
勾选要添加的主机,继续下一步操作。
- 选择存储库
这里我们采用Parcel离线安装的方式,安装简便、完全离线而且更便于集群的管理。
![](https://i-blog.csdnimg.cn/blog_migrate/67938d7d242998afd7d04febe02d6c32.webp?x-image-process=image/format,png)
选择我们之前上传到服务器的CDH5.2.0版本,其他全选无,下一步。
-
JDK安装选项
这里之前已经安装过了,所以不需要勾选,直接继续。
CM-JDK安装 -
提供SSH登陆凭据
由于CDH会自动管理所有主机间的SSH通讯,所以我们之前并没有手动配置各个节点间的SSH免密登录。在这里统一设置就行了,设置好密码点继续。
![](https://i-blog.csdnimg.cn/blog_migrate/4a4b3cb34bb3afe24327c412e4c09151.webp?x-image-process=image/format,png)
- 集群安装
因为这里所需要的软件包我们之前都已经安装过了,这一步会很快结束。
![](https://i-blog.csdnimg.cn/blog_migrate/fb1ce949bf5f284ed9376991e752d9d9.webp?x-image-process=image/format,png)
![](https://i-blog.csdnimg.cn/blog_migrate/65da63d94d04f1e7fc8ba412f2c19489.webp?x-image-process=image/format,png)
- 安装Parcel到所有主机上
因为Parcel文件已经提前下载好了,第一个进度条会直接显示已下载,然后开始分配。这个过程实际上就是将Parcel内的软件解压缩安装到各个主机上的过程。耐心等待,时间会比较长,我安装2台主机大概是需要20分钟时间。
![](https://i-blog.csdnimg.cn/blog_migrate/c3302a12fc644a44813bbbeaf07b758f.webp?x-image-process=image/format,png)
安装完毕后点继续
![](https://i-blog.csdnimg.cn/blog_migrate/46df10eac2cafaf8f52847e5e5e05262.webp?x-image-process=image/format,png)
- 主机检查
检查就可以了,建议不要跳过。检查结果如下:
![](https://i-blog.csdnimg.cn/blog_migrate/db3ebd1db8b7393fbf0bfee67022fb95.webp?x-image-process=image/format,png)
下面这2个都是误报,不需要理会。
![](https://i-blog.csdnimg.cn/blog_migrate/40bd6ca82a18aeb6378cd9d2edf5da0d.webp?x-image-process=image/format,png)
- 安装服务
CDH5提供了你可能需要的各种服务,需要什么启动什么就行了。这里我选择了自定义,添加HBase,HDFS,MapReduce和ZooKeeper,这里大家按照自己的需求选。
![](https://i-blog.csdnimg.cn/blog_migrate/e6fce7c1dff86ae35352606ed6aeeed2.webp?x-image-process=image/format,png)
- 角色分配
分配各个节点的角色
![](https://i-blog.csdnimg.cn/blog_migrate/082f92c909ee4e054c3d8890898e97c6.webp?x-image-process=image/format,png)
- 数据库设置
CDH默认内嵌了一个数据库,如果你需要MySQL或者Oracle请选择使用自定义数据库,点击测试连接,成功后点继续。
![](https://i-blog.csdnimg.cn/blog_migrate/cb5e5e094cb98b6674f35b59fa56b58a.webp?x-image-process=image/format,png)
- 审核更改
这里全部默认就可以了,直接继续。
![](https://i-blog.csdnimg.cn/blog_migrate/445868165a17a5db4a3225d548b7aab8.webp?x-image-process=image/format,png)
- 安装完成,初始化
到这里集群已经安装部署完成了,CDH会自动对你选择的服务进行初始化设置,你也可以稍后自行开启。
![](https://i-blog.csdnimg.cn/blog_migrate/92e69d1606d43ad3c8986b1a3afb06e0.webp?x-image-process=image/format,png)
初始化完成后,将进入主页面
![](https://i-blog.csdnimg.cn/blog_migrate/d9aeb61ec94d202dd3024be2edf25d3c.webp?x-image-process=image/format,png)
因为我们只安装了2台主机,而HDFS和ZooKeeper建议至少3个节点,所以页面上有一些警告,这些都不影响。到此,CDH集群部署完成。
作者:dzgdp888
链接:http://www.jianshu.com/p/57179e03795f