记录采用cloudera-manager安装CDH集群的过程

本文主要记录了安装CDH5.6的安装过程。

本次安装是在VM虚拟机中安装，下面介绍下本次安装的软件环境

由于Cloudera-manager安装是对内存的要求比较高，没办法达到官网的要求。所以这次安装的Hadoop组件为HDFS 、 YARN 、spark。

本次安装的系统环境为contes6.5。

在安装cloudera-manager之前，请先做好安装之前的准备工作。

1、配置好每台机器的网络，关闭防火墙，先检查系统的防火墙情况，开启的话就关闭。

上图表示的是防火墙开启，使用off命令关闭.

2、关闭 /etc/selinux/conf

将图中的值修改为disabled.

3、 每台机器配置映射

在 /etc/hosts/ 文件中添加每个节点的映射。

4、配置每台机器的免登陆。

ssh-keygen -t rsa 一路回车。

使用命令  ssh-copy-id 主机名 将秘钥拷贝到指定的主机中。

5、 修改swappiness的值，CDH安装的时候会检查主机的swappiness的值。一般设置为10，默认为60

在 /etc/sysctl.conf  中添加一行 vm.swappiness = 10。重启生效。(每个节点)

6、配置ntp服务器，保证集群的时间同步。具体可以参考本人另一篇博客http://blog.csdn.net/wsnbbdmm/article/details/77822031

7、安装JDK(在每个节点上都安装)

本次采用的jdk的版本是1.8，将安装包上传到linux服务器中，将安装包解压到自定义目录，本次解压路径为/usr/java

tar-zxvf 安装包 -C /path 解压完成后在/etc/profile下边配置环境变量

配置完成后使用source /etc/profile 命令刷新下配置文件。

8、安装mysql数据库，用来保存Cloudera-manager的元数据信息。详细安装教程可以参考本人博客 http://blog.csdn.net/wsnbbdmm/article/details/77148799。

     然后在数据库中创建所需要的数据库。

create database hive DEFAULT CHARSET utf8 COLLATEutf8_general_ci;

create database amon DEFAULT CHARSET utf8 COLLATEutf8_general_ci;

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database reports DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database navigatoraudit DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database navigatormetadata DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

给用户授权

 grant allprivileges on *.* to 'root'@'%' identified by 'beicaiHADOOP';

 flushprivileges;刷新权限

到此，如果是第一次安装的话，在环境提前设置好了以后，在此处拍张快照。因为安装失败后直接从快照中恢复，避免删除失效文件和删错文件。

9、安装cloudera-manager

将cloudera-manager的tar包分发到其他节点，并且都解压。

将cloudera-manager的tar包解压到/opt的跟目录下边。

产生两个文件夹。

10、修改cloudera-manager的agent的配置文件

修改完成后将配置文件分发到其他节点.

11、在每个节点上创建cloudera-manger的用户。

useradd --system --home=/opt/cm-5.6.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

12、执行sh脚本为cloudera manager创建数据库。

首先得将mysql的驱动包拷贝到cloudera的lib文件下，否则会报找不到驱动的错误。

拷贝完成后执行脚本，创建数据库。

/opt/cm-5.6.0/share/cmf/schema/scm_prepare_database.sh mysql -h localhost -uroot -proot --scm-host localhost scm root root

创建好数据库以后将CDH的安装包拷贝到Cloudera-manager的解压目录下。需要将sha1结尾的文件从命名下。

13、数据库创建好了，就可以启动cloudera-manager的server了。在启动后短时间内不要继续操作，因为server启动后会在scm数据库中创建相对应的表。

启动成功，查看数据库中是否有创建的表.

然后在每个节点上依次启动agent服务。

致此，安装cloudera-manager安装完成。接下来就安装CDH。

14、cloudera-manager的服务端启动后，在浏览器中输入 IP + 端口  进行访问登录.端口号为。7180,

登录后输入用户名和密码，都是admin 

依次按照提示进行：

选择好主机以后，就可以按照提示来进行安装了，傻瓜式安装。