基于cloudera manager的大数据集群平台搭建之集群服务安装

继续上篇，这篇介绍集群服务安装

监控服务安装

出现如下界面的原因是我们没有安装监控服务，因此应该首先安装监控服务，便于后面安装其他服务的过程出现问题的排查。

点击如下直接进行添加监控服务的操作：

选择需要将服务添加的主机，一般监控服务建议单独安装到一台专门用于监控的服务器上，由于我们的集群资源有限，所以监控服务全部安装到了主节点。

选定我们的分配的主机cs01后，点击继续进入如下页面：

这里要对数据的存储目录进行修改，原因是我们根目录的总容量为50G，存储空间太小，因此需要跟换到容量大一点的目录下，这里我们更改为/home/cm/lib/cloudera-host-monitor、/home/cm/lib/cloudera-service-monitor，点击继续进入如下页面：


完成后点击继续即完成了监控服务的安装，这时我们回到首页即可查看到所有主机的监控状态：

HDFS服务安装

点击如下进入添加hdfs服务页面：


进行服务的选择，后面我们所有添加的页面都在这个页面来添加，选择HDFS服务，点击继续。

进行角色分配，这里我们NameNode放到cs01,SecondaryNameNode放到cs02,DataNode放到cs02-cs05,完成后点击继续。

进行提前的配置修改，如块大小、DataNode存储路径，这里我们将数据存储路径改为/home/dfs/dn，点击继续，进行日志目录的修改，将其全部改为/home/cm目录下（目录空间大小的问题），点击继续完成HDFS服务的部署。

ZooKeeper服务安装

点击添加zookeeper服务进入如下页面：

YARN服务安装

点击添加服务添加YARN服务进入如下页面：

YARN服务是负责资源调度的，我们的角色分配为cs01作为ResourceManager节点，cs02-cs05作为NodeManager节点，主节点负责管理，其他的都为计算几点负责集群的计算任务。
添加完成后，点击继续完成YARN服务的添加。

数据仓库Hive服务部署

部署前需要配置元数据存储库，这样便于我们后面管理元数据信息，要确保表的元数据信息不丢失。
首先在 管理节点 的mysql中创建我们需要的hive元信息存储库，mysql中执行类似如下命令：

CREATE DATABASE hive DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci
grant all privileges on hive.* to 'hiveadmin'@'cs01' identified by 'hiveadmin' ;
# cs01是服务器名称

完成数据库配置后，进入添加Hive服务页面：

选择分配角色，Gateway分配给cs01，Hive Metastore Server分配给cs01，HiveServer2分配给cs01，点击继续进入如下页面：

进行数据设置并测试连接，连接失败的可能性是没有mysql JDBC，添加mysql-connector-java.jar到/usr/share/java/mysql-connector-java.jar即可解决，测试连接成功后点击继续进入如下页面：

修改/user/hive/warehouse为/hive/warehouse，点击继续完成Hive服务的安装。

Oozie服务安装

工作流服务Oozie服务安装了后才能安装Hue服务，因此我们先安装此服务，添加服务前同样要先新建Oozie存储数据的库,mysql中执行如下命令：

CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci
grant all privileges on oozie.* to 'oozieadmin'@'cs01' identified by 'oozieadmin' ;
# cs01为服务器名称

点击添加服务Oozie后出现如下：

这组依赖关系可以先都依赖了，后面可以随时更改配置修改，继续进入如下页面：

Oozie Server分配给cs01,点击继续进入如下页面，所以同样需要：

测试连接成功后点击继续：

这里的目录不做修改，点击继续后完成Oozie服务的安装。

Hue服务安装

安装Hue服务之前，还是要先创建存储元数据的库，mysql执行如下命令：

CREATE DATABASE hue DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci
grant all privileges on hue.* to 'hueadmin'@'cs01' identified by 'hueadmin' ;

点击添加服务选择Hue服务，进入如下页面：

同样设置好依赖，点击继续进入如下页面：

Hue Server分配给cs01，Load Balancer分配给cs04、cs05做负载均衡，设置好后点击继续进入如下页面：

设置好连接信息后，测试连接成功点击继续，不做目录地址的修改，再次点击继续后完成Hue服务的安装。
第一次登录Hue访问cs01:8889，出现如下页面，需谨慎设置管理用户和密码：

Spark服务安装

Spark的部署方式我们直接选择spark on yarn，点击添加服务选择如下：

点击继续进行角色分配,History Server分配给cs01，Gateway分配给cs01点击继续完成Spark on yarn服务部署。

Impala服务安装

点击添加服务，选择Impala服务：

点击继续进入如下页面：

将Impala StateStore、Impala Catelog Server分配给cs01,Impala Daemon分配给cs02-cs05，点击继续进入如下页面：

以上目录不做修改，点击继续完成Impala服务的安装。

Hbase服务安装

点击添加服务Hbase服务：

角色分配Gateway 分配给cs01，Master分配给cs01，HBase Thrift Server分配给cs01，RegionServer分配给cs02-cs05，选择完成后点击继续完成Hbase服务安装。

Kafka服务安装

Kafka服务并不在我们的Parcels包中，所以直接点击添加服务按钮是不能直接添加该服务的，进入如下页面单独下载：

点击下载，下载完成后点击分配：

分配完成后，点击激活：

显示已分配，已激活后，进入添加服务页面添加Kafka服务：

点击继续，进入如下页面：

进行角色分配，Kafka Broker分配给cs03-cs05，Gateway分配给cs01。完成后点击继续：

Zookeeper.chroot填写/kafka，其他不做修改点击继续完成Kafka服务安装。启动时候报错，需要增大如下配置值：

修改后重新启动Kafka服务。