使用CDH5.14.0方式Cloudera Manager快速搭建hadoop集群

*0.前言*

CDH搭建方式是使用Cloudera Manager进行一键式搭建hadoop集群，Cloudera Manager里面集成了hadoop组件的管理功能，并且提供了hadoop组件的静态资源parcel，可以实现一键安装、配置，统一管理。非常节省时间。
不推荐初学者学习CDH方式搭建，初学者建议以apache传统方式搭建，方便学习hadoop组件的工作原理。

*1.前置操作*

准备了四台虚拟机。root密码自己设置，我图方便都用root了

*修改hosts文件*

在四台节点上修改hosts文件，CDH会自动读取你的HOSTS文件，并将其作为连接其他agent的映射，务必将所有节点的hosts配置完全一样，并且能够互相访问。

映射命名如下。

vim /etc/hosts

10.3.69.80 cdh00

10.3.69.81 cdh01

10.3.69.82 cdh02

10.3.69.83 cdh03

hostnamectl set-hostname cdh00

hostnamectl set-hostname cdh01

hostnamectl set-hostname cdh02

hostnamectl set-hostname cdh03

*配置清华的yum源*

清华yum官方配置教学

*其他应用安装*

ifconfig不能用？

yum install net-tools -y

vi没颜色不好看，弄个vim。

yum install vim -y

节点之间要保证时间同步。

yum install ntp -y

ntpdate ntp6.aliyun.com

节点之间要经常通信，输密码很烦，先生成一对密钥

ssh-keygen

三个回车，不需要内容直接回车就行。

然后把密钥发送给其他节点

ssh-copy-id cdh00

关闭selinux

修改配置文件（重启生效）

vim /etc/selinux/config

将SELINUX=enforcing 改为SELINUX=disabled

下载其他第三方依赖

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb httpd mod_ssl

*2.安装mysql*

虚拟机里默认有了jdk1.8，接下来安装mysql，理论上来讲只需要server节点安装，所以只在cdh00节点中安装mysql即可，其余例如hive之类的组件都依赖于cdh00的MySQL。

rpm -Uvh http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm
yum repolist enabled | grep "mysql.*-community.*"
yum -y install mysql-community-server
systemctl enable mysqld
systemctl start mysqld

默认没有root密码，直接mysql -uroot登录登录进去以后修改mysql密码。

update mysql.user set password=PASSword('root') where user='root';

最后设置一下mysql的远程连接

mysqladmin -u root -proot
##登录后 
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;

检查一下user表中是否有空项，根据表内容不同，给空值填入密码。

set password for root@localhost = password('root');

quit;

退出以后，重启mysql服务，登录。

systemctl restart mysqld
mysql -uroot -proot

在****cdh00****中创建CM所需要的数据库。

（1）集群监控数据库
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;  
（2）hive数据库 
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 
（3）oozie数据库
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
（4）hue数据库