概述
这里是最后一部分
这里是第六部分,主要讲配置Mysql作为Cloudera Manager及CDH组件的数据库
操作的话建议从第一部分开始不知道为什么后面的几个部分的阅读量比前言大得多,强烈建议从第一部分开始操作,文章验证过好多次了,各部分之间都是相互依赖的,只看中间某一篇的话很可能出错
第一部分:前言
第二部分:环境准备1
第三部分:环境准备2
第四部分:安装Mysql数据库
第五部分:安装Cloudera Manager主服务
第六部分:配置Mysql数据库
第七部分:浏览器安装ClouderaManager
注意
1. 所有步骤如无特别说明都是要在所有服务器上都执行一遍
2. 所有的准备工作都要做,不要漏了或者错了,不然后面出现各种问题再改都是轻的,由此引发的其他的问题就严重多了
3. 所有操作均在root用户下进行
这一部分都是浏览器里配置的,
截图比较多
浏览器配置Cloudera Manager
浏览器访问地址:
http://cm02.spark.com:7180
cloudera-scm-server访问这个地址要等一会大约几分钟,重启以后重新配置数据库及创建表需要时间
第7部分_ClouderaManager添加服务_01CM浏览器登陆界面
第7部分_ClouderaManager添加服务_02CM浏览器访问-使用条款
第7部分_ClouderaManager添加服务_03CM浏览器访问-版本选择
第7部分_ClouderaManager添加服务_04CM浏览器访问-感谢你使用
第7部分_ClouderaManager添加服务_05CM浏览器访问-添加主机
第7部分_ClouderaManager添加服务_05CM浏览器访问-添加主机点击搜索后的页面
第7部分_ClouderaManager添加服务_06CM浏览器访问-选择parcel存储库
第7部分_ClouderaManager添加服务_07CM浏览器访问-修改远程Parcel存储库地址
第7部分_ClouderaManager添加服务_08CM浏览器访问-指定CM版本及存储地址
第7部分_ClouderaManager添加服务_09CM浏览器访问-JDK安装选项
第7部分_ClouderaManager添加服务_10CM浏览器访问-不需要启用单用户模式
第7部分_ClouderaManager添加服务_11CM浏览器访问-提供SSH登陆凭据
第7部分_ClouderaManager添加服务_12CM浏览器访问-CM安装从节点
这个时间会久一点,我这边用了20分钟
第7部分_ClouderaManager添加服务_13CM浏览器访问-CM安装成功
这一步是在所有的节点上安装Cloudera Manager监控的slave,包括主节点,
这一步做完你会发现系统中多了一个叫做cloudera-scm-agent的服务
你可以在从节点执行一个这个命令,
主节点也行,只是在主节点执行的话你不知道是之前执行cloudera-manager-installer.bin生成的,还是我们做这一步的时候生成的
rpm -qa| grep cloudera
第7部分_ClouderaManager添加服务_14CM浏览器访问-CM安装分发选定Parcel
安装大数据服务组件,说Hadoop,Hive,HBase,Zookeeper什么的,上一步只是安装Cloudera Manager监控的从节点
不过这一步虽然是安装,但是更像是复制,把Parcel包从我们配置的yum源里把CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel包解压并复制到相应的目录下
这个目录一般是/opt/cloudera
第7部分_ClouderaManager添加服务_15CM浏览器访问-CM安装主机正确性检查
这一步是检查你之前所进行的配置,主要是准备工作的时候做的配置,所以嘛,准备工作哪做得不对,这里都会体现出来
OK,这里全部正确
Cloudera Manager监控服务的安装到这里就全部完成了,下面是安装大数据的服务组件,比如说Hadoop,Hive,HBase,Zookeeper什么的。
第7部分_ClouderaManager添加服务_16CM浏览器访问-添加大数据服务
第7部分_ClouderaManager添加服务_17CM浏览器访问-角色分配
第7部分_ClouderaManager添加服务_18CM浏览器访问-数据库设置
这一步如果前面将Mysql驱动去掉版本号然后放在/usr/share/java/目录下的话会报找不到Mysql驱动的错误
第7部分_ClouderaManager添加服务_19CM浏览器访问-审核更改
一些基础配置啊什么的,使用默认的就行
第7部分_ClouderaManager添加服务_20CM浏览器访问-部署完成
部署刚刚我们选 的大数据服务,它会在相应的/etc目录下生成配置文件,
比如说Hadoop的配置文件个位置就是:/etc/hadoop,
你可能会说它不是在这儿啊?跟踪一下你会发现软链接最终指向的都是这里
部署完成的界面:
这里虽然你看着全部都是绿色的,没有警告,但是你部署完后就算没有报错的,
警告肯定不少,这里就需要你自己慢慢调了,这部分太复杂这里就不说了
如果你没有更改Cloudera Manager使用Mysql数据的话界面是这样的
还可以去看下HDFS的界面:
我部署太多次了,这次用了3个小时,估计你部署的话时间会更久,注意,一定要严格按照步骤进行,我看之前自己写的文档,但是还是有有错的
至此完成,如果觉得有用就点个赞吧