cdh hive on spark_0721-5.10.0-CM接管rpm方式安装的无CM的CDH集群

在Cloudera Manager上添加CDH服务

逐个添加所有服务，需要注意的是服务之间有依赖关系，推荐按照下列顺序进行服务的添加：

1)Zookeeper

2)HDFS

3)Yarn

4)Spark

5)Hive

6)Impala

7)Oozie

8)Hue

一般来说添加服务的步骤几乎是相同的：

1)在Cloudera Manager上添加服务

2)角色的分配与之前保持一致

3)应用所有配置文件

4)启动服务

6.1添加Zookeeper

1.从CM添加Zookeeper服务

2.选择Zookeeper服务

3.选择ZK Server，与之前安装时一致

4.设置与之前相同的目录

5.不点击继续，直接点击左上角回到CM主页，进入Zookeeper的配置

6.应用之前的配置，保持与之前一致

Server ID保持与之前安装时设置的一致

修改/var/lib/zookeeper/version-2的属主为zookeeper

设置堆栈大小

保证设置的ZK log目录和Heap Dump目录空间足够，如果默认的目录空间不够，则进行修改

7.启动Zookeeper

6.2 添加HDFS

1.从CM上添加HDFS

2.选择角色，保持与之前的安装一致

3.保持目录与之前一致

4.删除/data0/dfs/nn目录下NN的元数据，启动HDFS

5.将之前备份的NameNode元数据拷贝回/data0/dfs/nn目录

6.验证HDFS的数据与之前是否一致

列出HDFS的目录，与之前一致，能够看到最开始上传用作测试的两个tar包

使用fsck命令查看，数据与之前一致

6.3添加Yarn

1.在CM上添加Yarn服务

2.选择角色，保持与安装的一致

3.设置Yarn的目录与之前安装的一致

4.启动Yarn

5.Yarn启动成功

6.运行MR示例程序进行测试，示例程序运行成功

6.4添加Spark

1.从CM上添加Spark，选择Spark而不是Spark(Standalone)

2.保持角色与之前一致，Gateway选择所有节点

3.启动Spark

4. Spark安装成功

重启相关的服务

重新部署客户端配置

重启成功

6.5添加Hive

1.在CM上添加Hive服务

2.为Hive选择依赖关系

3.选择角色，与之前的安装保持一致

4.设置数据库

5.Hive的目录，确保与之前安装配置的一致

6.启动Hive

7.Hive安装成功

8.验证Hive的数据与之前是否一致

查看库，可以看到之前创建的两个库test1、test2

查看库test1，可以看到之前创建的表web_returns

查看表web_returns的数据，与之前一致

查看库test2，可以看到之前创建的表test_partition

查看表test_partition的数据，与之前一致

6.6添加Impala

1.在CM上添加Impala

2.为Impala选择角色，与之前的安装保持一致

3.为Impala指定目录

4.创建Impala用户目录

5.Impala安装成功

6.启动Impala

7.测试Impala使用

6.7添加Oozie

1.在CM上添加Oozie服务

2.为Oozie服务选择依赖关系

3.选择角色，保持与之前一致

4.设置数据库

5.指定Oozie共享库目录和数据目录，与之前的安装保持一致

6.启动Oozie服务

7.Oozie服务安装成功

6.8添加Hue

1.在CM上添加Hue

2.为Hue选择依赖关系

3.选择角色，与之前安装时一致

4.设置数据库

5.启动Hue

6.Hue服务添加成功

7.访问Hue

8.测试Hue的使用

使用Hive

使用Impala

至此CM接管完成，CM主页如下图所示：

总结

1.使用CM接管未受管的CDH集群，在添加服务时需要注意的是，要保持角色与之前安装时的角色一致，数据目录也需要指定成之前安装时的数据目录，以及一些配置也需要在CM上修改，与支持一致，保证CM接管后服务都与之前一样正常运行。

2.在接管之前需要对服务的一些数据和配置文件进行备份，在后面CM安装服务时需要用到。

3.在接管之前需要对服务进行检查，对数据进行记录，在接管后对数据进行对比，比如HDFS以及Hive，本文档在接管后，HDFS以及Hive中数据都与之前一致。