继续上篇,这篇介绍集群服务安装
监控服务安装
出现如下界面的原因是我们没有安装监控服务,因此应该首先安装监控服务,便于后面安装其他服务的过程出现问题的排查。
点击如下直接进行添加监控服务的操作:
选择需要将服务添加的主机,一般监控服务建议单独安装到一台专门用于监控的服务器上,由于我们的集群资源有限,所以监控服务全部安装到了主节点。
选定我们的分配的主机cs01后,点击继续进入如下页面:
这里要对数据的存储目录进行修改,原因是我们根目录的总容量为50G,存储空间太小,因此需要跟换到容量大一点的目录下,这里我们更改为/home/cm/lib/cloudera-host-monitor、/home/cm/lib/cloudera-service-monitor,点击继续进入如下页面:
完成后点击继续即完成了监控服务的安装,这时我们回到首页即可查看到所有主机的监控状态:
HDFS服务安装
点击如下进入添加hdfs服务页面:
进行服务的选择,后面我们所有添加的页面都在这个页面来添加,选择HDFS服务,点击继续。
进行角色分配,这里我们NameNode放到cs01,SecondaryNameNode放到cs02,DataNode放到cs02-cs05,完成后点击继续。
进行提前的配置修改,如块大小、DataNode存储路径,这里我们将数据存储路径改为/home/dfs/dn,点击继续,进行日志目录的修改,将其全部改为/home/cm目录下(目录空间大小的问题),点击继续完成HDFS服务的部署。
ZooKeeper服务安装
点击添加zookeeper服务进入如下页面:
YARN服务安装
点击添加服务添加YARN服务进入如下页面:
YARN服务是负责资源调度的,我们的角色分配为cs01作为ResourceManager节点,cs02-cs05作为NodeManager节点,主节点负责管理,其他的都为计算几点负责集群的计算任务。
添加完成后,点击继续完成YARN服务的添加。
数据仓库Hive服务部署
部署前需要配置元数据存储库,这样便于我们后面管理元数据信息,要确保表的元数据信息不丢失。
首先在 管理节点 的mysql中创建我们需要的hive元信息存储库,mysql中执行类似如下命令:
CREATE DATABASE hive DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci
grant all privileges on hive.* to 'hiveadmin'@'cs01' identified by 'hiveadmin' ;
# cs01是服务器名称
完成数据库配置后,进入添加Hive服务页面:
选择分配角色,Gateway分配给cs01,Hive Metastore Server分配给cs01,HiveServer2分配给cs01,点击继续进入如下页面:
进行数据设置并测试连接,连接失败的可能性是没有mysql JDBC,添加mysql-connector-java.jar到/usr/share/java/mysql-connector-java.jar即可解决,测试连接成功后点击继续进入如下页面:
修改/user/hive/warehouse为/hive/warehouse,点击继续完成Hive服务的安装。
Oozie服务安装
工作流服务Oozie服务安装了后才能安装Hue服务,因此我们先安装此服务,添加服务前同样要先新建Oozie存储数据的库,mysql中执行如下命令:
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci
grant all privileges on oozie.* to 'oozieadmin'@'cs01' identified by 'oozieadmin' ;
# cs01为服务器名称
点击添加服务Oozie后出现如下:
这组依赖关系可以先都依赖了,后面可以随时更改配置修改,继续进入如下页面:
Oozie Server分配给cs01,点击继续进入如下页面,所以同样需要:
测试连接成功后点击继续:
这里的目录不做修改,点击继续后完成Oozie服务的安装。
Hue服务安装
安装Hue服务之前,还是要先创建存储元数据的库,mysql执行如下命令:
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci
grant all privileges on hue.* to 'hueadmin'@'cs01' identified by 'hueadmin' ;
点击添加服务选择Hue服务,进入如下页面:
同样设置好依赖,点击继续进入如下页面:
Hue Server分配给cs01,Load Balancer分配给cs04、cs05做负载均衡,设置好后点击继续进入如下页面:
设置好连接信息后,测试连接成功点击继续,不做目录地址的修改,再次点击继续后完成Hue服务的安装。
第一次登录Hue访问cs01:8889,出现如下页面,需谨慎设置管理用户和密码:
Spark服务安装
Spark的部署方式我们直接选择spark on yarn,点击添加服务选择如下:
点击继续进行角色分配,History Server分配给cs01,Gateway分配给cs01点击继续完成Spark on yarn服务部署。
Impala服务安装
点击添加服务,选择Impala服务:
点击继续进入如下页面:
将Impala StateStore、Impala Catelog Server分配给cs01,Impala Daemon分配给cs02-cs05,点击继续进入如下页面:
以上目录不做修改,点击继续完成Impala服务的安装。
Hbase服务安装
点击添加服务Hbase服务:
角色分配Gateway 分配给cs01,Master分配给cs01,HBase Thrift Server分配给cs01,RegionServer分配给cs02-cs05,选择完成后点击继续完成Hbase服务安装。
Kafka服务安装
Kafka服务并不在我们的Parcels包中,所以直接点击添加服务按钮是不能直接添加该服务的,进入如下页面单独下载:
点击下载,下载完成后点击分配:
分配完成后,点击激活:
显示已分配,已激活后,进入添加服务页面添加Kafka服务:
点击继续,进入如下页面:
进行角色分配,Kafka Broker分配给cs03-cs05,Gateway分配给cs01。完成后点击继续:
Zookeeper.chroot填写/kafka,其他不做修改点击继续完成Kafka服务安装。启动时候报错,需要增大如下配置值:
修改后重新启动Kafka服务。