CM5.7.0 - CDH5.7.0的安装配置
0、依赖安装：
升级内核：
rpm -uvh kernel-firmware-2.6.32-573.el6.noarch.rpm
rpm -uvh kernel-2.6.32-573.el6.x86_64.rpm
重启机器
添加依赖包：
python-psycopg2
rpm -ivh python-psycopg2-2.0.14-2.el6.x86_64.rpm
mod_ssl
rpm -ivh mod_ssl-2.2.15-47.el6.centos.4.x86_64.rpm
如果需要依赖，先执行
rpm -ivh httpd-tools-2.2.15-47.el6.centos.4.x86_64.rpm
rpm -ivh httpd-2.2.15-47.el6.centos.4.x86_64.rpm
如果有冲突可用-Uvh升级 --nodeps
MySQL-python
rpm -ivh MySQL-shared-compat-5.6.26-1.el6.x86_64.rpm
rpm -ivh MySQL-python-1.2.3-0.3.c1.1.el6.x86_64.rpm
openssl-devel-1.0.1e-42.el6_7.4.x86_64.rpm
portmap-4.0-65.2.2.1.x86_64.rpm
cyrus-sasl-gssapi-2.1.23-15.el6_6.2.x86_64.rpm
redhat-lsb-4.0-7.el6.centos.x86_64.rpm
安装命令
rpm -ivh ..... --nodeps
一、环境搭建
1.1.设置各个节点ip地址
vi /etc/sysconfig/network-scripts/ifcfg-ethx
执行命令重启网卡： service network restart
验证ip设置: ifconfig
1.2.修改主机名
命令：vi /etc/sysconfig/network
验证：hostname 主机名
1.3.ip与hostname绑定
执行命令： vi /etc/hosts
验证: ping 主机名
1.4.关闭防火墙
执行命令 service iptables stop
验证: service iptables status
1.5.关闭防火墙的自动运行
执行命令 chkconfig iptables off
验证: chkconfig --list | grep iptables
1.6关闭seLinux
# vi /etc/selinux/config （将SELINUX改为disabled，需要重启，才能生效）
1.7重启机器
reboot -h now
1.8设置ssh免密码登陆
执行命令 (1)ssh-keygen -t rsa
(2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证： ssh 主机名
下面方法的简单方法ssh-copy-id -i cdh100
scp ~/.ssh/authorized_keys cdh100:/root/.ssh/authorized_keys
要做namenode和datanode的无密。NameNode是通过SSH（Secure Shell）来启动和停止各个DataNode上的各种守护进程的。
1.8.配置NTP时间服务器，同步各个节点时间，设置开机启动。
-
CM的配置安装
2.1.本文采用parcel包方式安装
官方下载地址
1、cm安装执行文件下载
http://archive.cloudera.com/cm5/installer/
下载5.7.0的执行bin文件。
2、rpm包下载
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.7.0/
把cm的5.7.0文件夹下的内容全部下载下来，放入cm5.7.0文件夹中
3、parcels包下载
http://archive.cloudera.com/cdh5/parcels/5.7.0/
注：CentOS6.4/6.5 选择el6版本
下载以上三个文件。放到cdh5.7.0文件夹下面。
2.2.安装方式选择
CDH通过CM可以选择的安装方式有采用rpm方式和parcel包方式（官方建议采用parcel包方式安装，便于后期升级维护），本文介绍parcel包方式。
2.3.CM介质准备
启动http服务
启动http 服务
# service httpd start
查看http服务状态
# service httpd status
( 安装介质目录下提供的有安装文件，把cm5.7.0.tar.gz解压得到cm5.7.0目录)
把cm5.7.0目录与cdh5.7.0的目录保持整个目录不变，拷贝到/var/www/html/文件夹下面。
用浏览器访问：http://IP地址/cm5.7.0
在浏览器中显示出目录的文件结构为正确。
2.4.配置本地yum源 -- repo文件
进入/etc/yum.repos.d目录创建cloudera-manager.repo文件。内容如下：
[cloudera-manager]
name = Cloudera Manager, Version 5.7.0
baseurl = http://IP地址/cm5.7.0
gpgcheck = 0
把原/etc/yum.repos.d下的文件备份一份，安装cm 和 cdh时只留下，cloudera-manager.repo 然后把该文件放到所有结点一份，所有/etc/yum.repos.d目录下只留下cloudera-manager.repo文件。
并且，安装失败时，cloudera-manager.repo文件名会发生变化，内容也可能发生变化，需要重新改回原来的，把多余文件删除。
注意：repo文件中不能有特殊字符(Unix系统里，每行结尾只有"<换行>"，即"\n"；Windows系统里面，每行结尾是"<换行><回车>"，即"\n\r"，最好手打上去，直接复制粘贴会出问题。)
2.5安装mysql数据库:
http://mirrors.sohu.com/mysql/MySQL-5.6/
下载完成后解压：
我们只需要server和client端，把这两个rpm上传到linux服务器上，只需在一个节点安装即可。
进行安装
如果出现以上file /usr ..... ， 说明没有安装成功。执行以下命令，删除。重新安装
安装成功，生成的随机密码在图片位置。
安装client端，并启动mysql 服务 ， 对mysql进行初始化。
安装完成配置：
添加cloudera manager service数据库：
登陆MySQL控制台：mysql -uroot -p123456
执行以下建库命令。
create database amon DEFAULT CHARACTER SET utf8;create database rman DEFAULT CHARACTER SET utf8;create database metastore DEFAULT CHARACTER SET utf8;create database sentry DEFAULT CHARACTER SET utf8;create database nav DEFAULT CHARACTER SET utf8;create database navms DEFAULT CHARACTER SET utf8;create database scm DEFAULT CHARACTER SET utf8;create database hive DEFAULT CHARACTER SET utf8;create database oozie_oozie_server DEFAULT CHARACTER SET utf8;grant all privileges on *.* to root@'%' identified by "123456";flush privileges;其中root 代表用户名， 123456为root用户的密码#grant all privileges on *.* to root@'%' identified by "123456";设置MySQL为开机启动
sudo /sbin/chkconfig mysql on;sudo /sbin/chkconfig --list mysql;查看是否如同如下结果mysql 0:off 1:off 2:on 3:on 4:on 5:on 6:off把mysql和oracle的驱动包名称修改为如下样式，放到：
/usr/share/java/ 目录下。
2.6.执行文件夹下面的cloudera-manager-installer.bin文件，一路执行next或yes，直至安装完成出现，next step。会出现web访问地址（如：http://192.168.50.100:7180），登录用户名和密码。由于cm启动较慢，等三到五分钟，可以访问web界面进行cdh的安装。
三、CDH的安装
3.1.登录http://ip:7180界面输入用户名密码（默认：用户名：admin 密码：admin）
3.2.选择安装版本，也可以选择任意版本，收费版本到期后会自动降为免费版。并非选择的收费版本到期后就无法使用，可以使用免费版所有功能，但对应的收费版高级功能没有了。
3.3.下面以免费版本为例
输入你要加入CDH集群的主机名或者主机ip，然后点击搜索，把所有要添加的主机全部输入进行安装。
搜索到主机选择需要安装CDH的主机之后点击继续：
3.4.选择parcel包的地址
这一步要注意，一开始给出选择cdh版本，有两个选项或没有联网就没有选项。
点击使用parcel旁边的更多选项：
找到远程parcel存储库url
在第一个中填入cdh的地址：
这里填入的就是我们放入/var/www/html目录下，可以用浏览器访问的cdh的地址 ：http://IP地址/cdh5.7.0
安装时这个地址一定要能正确访问。
把剩余其它url全部删除。点击确定。
等待一会：
可以看到，由两个选项变为一个选项为正确。再添加cm5.7.0的地址，点击继续。
这里填入的就是我们放入/var/www/html目录下，可以用浏览器访问的cm的地址 ： http://IP地址/cm5.7.0
安装时这个地址一定要能正确访问。
3.5.选中安装Oracle Java SE 开发工具包 (JDK)
3.6.不做选择继续
3.7.选择用户，输入密码（注意，如果使用普通用户，要每台机器都有该用户，并且该用户要有sudu权限。）
3.8进入cdh安装界面，等待安装完成（这步有点慢，要等待很长时间），如发生错误点击详细信息，查看错误信息进行解决，或查看最后一节：cdh安装时遇到的部分错误及解决方案（并不是所有错误解决方案，遇到其它缺少linux依赖问题可以自行下载rpm包安装解决。）。
安装完成，继续。
3.9.等待传输parcel包，传输完成继续
进行主机检查。检查完成。
这里有一项感叹号，可以执行以下命令：
减少对swap分区写数据
echo 0 >/proc/sys/vm/swappiness （临时） sysctl -w vm.swappiness=0（永久）
降低hadoop集群对cpu的占用
echo never > /sys/kernel/mm/transparent_hugepage/defrag （临时）（永久需要修改：/etc/rc.local文件）
设置完成后，点击重新运行，发现感叹号消失。
3.10.安装完成
添加服务及角色选择
选择要安装的服务组合（也可以选自定义，选择自己想安装的组件）。
在安装hive和oozie的时候，默认使用的是postgresql的数据库，可以改为mysql
安装完成后开始分配服务组件， 选择自定义（可根据实际需要进行选择）：
（注意：安装由于mapreduce2是yarn组件的一部分，所以需要mapreduce组件时，只需要安装yarn即可。）
给activity monitor服务选择启动的节点。
选择安装zooKeeper server的节点。
设置数据库的用户名和密码，可以进行选择不同的数据库，如mysql 和 oracle。
可以设置我们的邮件服务器，用于监控集群问题时，往邮件服务器发邮件。
安装完成。
我们可以通过点击添加服务，来打开添加服务向导添加服务
分配各节点任务角色。
服务节点分配（根据主机硬件配置合理配置）：
这里是设置我们dataNode和nameNode数据存放的目录
后面需要安装服务，如上添加即可。
安装时遇到的问题及解决方案：
Rpm包，在问题rpm包目录下：
安装时，在安装 agent报以下错误：
Error: Package: cloudera-manager-agent-5.7.0-1.cm543.p0.258.el6.x86_64 (cloudera-manager)
Requires: portmap
Error: Package: cloudera-manager-agent-5.7.0-1.cm543.p0.258.el6.x86_64 (cloudera-manager)
Requires: /lib/lsb/init-functions 这个就是没有redhat-lsb
Error: Package: cloudera-manager-agent-5.7.0-1.cm543.p0.258.el6.x86_64 (cloudera-manager)
Requires: cyrus-sasl-gssapi
解决方案：
强制安装一下三个rpm包：
portmap-4.0-65.2.2.1.x86_64.rpm
cyrus-sasl-gssapi-2.1.22-7.el5_8.1.x86_64.rpm
redhat-lsb-4.0-2.1.el6.x86_64.rpm
安装命令
rpm -ivh ..... --nodeps
3353
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
