Cloudera Manager5.12、Java1.8、Centos7集群部署(3)-------Cloudera-Manager安装启动

标签: hadoop cloudera cm mysql agent
7人阅读 评论(0) 收藏 举报
分类:

3.  Cloudera-Manager安装

3.1  下载第三方依赖包

最后一步安装第三方依赖包的时候,主要针对的是centos,公司中还是要看使用的linux发行版缺少那些版本;

yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb -y

3.2  安装配置cm 
1) 在http://archive.cloudera.com/cm5/cm/5/下载:cloudera-manager-centos7-cm5.12.2_x86_64.tar.gz
2) 创建/opt/cloudera-manager目录,上传并将tar包解压到该目录下 
3) 创建用户scm

 useradd --system --home=/opt/cloudera-manager/cm-5.12.2/run/cloudera-scm-server --no-create-home --comment "Cloudera SCM User" scm

4) 修改拥有者用户

chown -R scm:scm /opt/cloudera-manager
3.3 安装配置parcels 

1) cloudera-cdh5 parcels下载地址: http://archive.cloudera.com/cdh5/parcels/5.12.2.4/

下载el为最新的三个文件
CDH-5.12.2-1.cdh5.12.2.p0.4-el7.parcel
CDH-5.12.2-1.cdh5.12.2.p0.4-el7.parcel.sha1

manifest.json

2) 按照官网的文件格式下载源文件, 上传到linux. 
目录为/opt/cloudera/parcel-repo,文件夹拥有者要改为scm:

chown -R scm:scm /opt/cloudera

3) 修改sha1为sha:

mv CDH-5.12.2.cdh5.12.2.p0.4-el7.parcel.sha1 CDH-5.12.2.cdh5.12.2.p0.4-el7.parcel.sha

3.4 登录mysql的scm用户,创建需要Cloudera-Manager各个组件存储元数据的数据库

mysql> create database hive DEFAULT CHARACTER SET utf8;
mysql> create database hue DEFAULT CHARACTER SET utf8;
mysql> create database monitor DEFAULT CHARACTER SET utf8;
mysql> create database oozie DEFAULT CHARACTER SET utf8;
mysql> create database reports DEFAULT CHARACTER SET utf8;
mysql> flush privileges;

3.5 mysql客户端驱动

1) 下载http://dev.mysql.com/downloads/connector/j/5.1.html 
2) 上传mysql-connector-java-5.1.46.tar.gz到/opt/mysql中

3) 解压后将mysql-connector-java-5.1.46-bin.jar放入/opt/cloudera-manager/cm-5.12.2/share/cmf/lib

cp mysql-connector-java-5.1.46-bin.jar /opt/cloudera-manager/cm-5.12.2/share/cmf/lib/
4) 也放一份在下面目录
cp mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar
3.6 使用scm_prepare_database.sh创建cm数据库,也可登录mysql用SQL脚本创建
/opt/cm-5.12.2/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p111111 --scm-host localhost scm scm scm
注:输出一下内容,说明成功: 
… 
Executing: /opt/jdk1.8.0_60/bin/java -cp/usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/opt/cloudera-manager/cm-5.7.3/share/cmf/schema/. 
./lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /opt/cloudera-manager/cm-5.7.0/etc/cloudera-scm-server/db.propertiescom.cloudera.cmf.db.[main] DbCommandExecutor INFOSuccessfullyconnected to database. 

All done,your SCM database is configured correctly!

3.7 Cloudera agent安装

修改config.ini的server_host=hadoop1,主节点

vi /opt/cloudera-manager/cm-5.12.2/etc/cloudera-scm-agent/config.ini
将/opt下配置好的cloudear-manager和下载好的cloudera分发到各个节点
scp -r /opt/cloudera root@hadoop2:/opt/
scp -r /opt/cloudera root@hadoop3:/opt/
scp -r /opt/cloudera-manager root@hadoop2:/opt/
scp -r /opt/cloudera-manager root@hadoop3:/opt/
在另外两个节点(hadoop2~3)中创建scm用户,并赋予/opt里两个文件夹的权限
useradd --system--home=/opt/cloudera-manager/cm-5.12.2/run/cloudera-scm-server --no-create-home --comment "Cloudera SCM User" cloudera-scm
chown -R cloudera-scm:cloudera-scm /opt/cloudera-manager
chown -R cloudera-scm:cloudera-scm /opt/cloudera

3.8 Cloudera server启动

/opt/cloudera-manager/cm-5.12.2/etc/init.d/cloudera-scm-server start
tail -f /opt/cloudera-manager/cm-5.12.2/log/cloudera-scm-server/cloudera-scm-server.log

注:server端在初始化,看日志知道出现以下字样表明初始化完成: 
。。。 
2016-03-23 11:17:50,333 INFOWebServerImpl:org.mortbay.log: jetty-6.1.26.cloudera.4 
2016-03-23 11:17:50,334 INFOWebServerImpl:org.mortbay.log: Started SelectChannelConnector@0.0.0.0:7180 
2016-03-23 11:17:50,334 INFOWebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.

Cloudera server启动需约一分钟时间,等待一会,执行以下代码,查看server是否正常运行
/opt/cloudera-manager/cm-5.12.2/etc/init.d/cloudera-scm-server status

如果没有问题,启动agent服务

/opt/cloudera-manager/cm-5.12.2/etc/init.d/cloudera-scm-agent start

接下来hadoop2~3节点只启动agent服务

3.9  访问Cloudera管理台WEB 

浏览器输入: 
hadoop1:7180 
默认: 
用户:admin 
密码:admin 

出现登录界面则表示cm安装成功

3.11  hadoop1~3节点全部受管理,即为正常启动。

查看评论

Cloudera Manager5.12、Java1.8、Centos7集群部署(1)--------持续更新

1、安装配置虚拟机1.1  下载地址:http://mirrors.aliyun.com/centos/7/isos/x86_64/1.2  VMware创建3台虚拟机hadoop1    192.1...
  • u010699122
  • u010699122
  • 2018-04-16 14:06:15
  • 5

Centos7及Cloudera Manager安装教程

CentOS7系统下的平台搭建   一、简介 CentOS是Linux发行版之一,它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。 Ubunt...
  • DATA8866
  • DATA8866
  • 2017-02-27 21:39:26
  • 3025

CentOS7.3下安装Cloudera Manager5.11.1

CentOS7.3下安装Cloudera Manager5.11.1 概述 准备条件 系统环境配置 安装Java 安装MySQL 安装CM CM配置 Q&A 参考 概述最近公司需要研究大数据方向的内容...
  • rj08zhou
  • rj08zhou
  • 2017-07-26 10:33:36
  • 2937

离线安装Cloudera Manager 5和CDH5(最新版5.12.1) 完全教程

关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cl...
  • gtsina
  • gtsina
  • 2017-09-21 10:27:00
  • 3763

关于cloudera manager设置开机自动启动

最近本人做关于CDH的离线版搭建,设计到了断电关机后服务器启动后cloudera manager自动启动的问题,参考其它文章后未能实现,因为cleadera-scm-server启动起来但是clead...
  • zhu1361
  • zhu1361
  • 2017-12-21 15:29:20
  • 238

安装Cloudera Manager 5和,CDH-5.7.1的详细步骤

安装Cloudera Manager 5和,CDH-5.7.1的详细步骤
  • high2011
  • high2011
  • 2016-07-18 19:09:17
  • 5371

cloudera manager 第二次安装遇到的问题以及解决方案

1、机器ip变化导致无法识别集群里面的机器 解决办法:网上很多都是基于postgresql数据库的解决方案,如果是基于mysql安装的CM,要使用当时安装CM初始化数据库的用户名和密码登陆数据库,修改...
  • zxfred
  • zxfred
  • 2017-07-17 16:55:55
  • 604

Cloudera Manager离线安装与卸载【按照此文章可以卸载干净,然后执行cm5的bin文件重新安装,不推荐此安装方法】

文章来源:http://www.chinahadoop.cn/group/5/thread/19 最近一直很苦恼,因为一直不知道Clouder Manager的离线安装与卸载,在生产环境中无法直接通...
  • buster2014
  • buster2014
  • 2015-12-11 23:20:47
  • 2796

Cloudera Manager5及CDH5在线安装(cloudera-manager-installer.bin)

一、  准备工作 1.    需求条件网速好因为是线上安装,所以要求要有比较大的带宽,特别是并行安装台服务器时。 网络稳一旦网络中断,可能你花费了半天或则一天的时间,就有可能会浪费,然后重装。 内存大...
  • lichangzai
  • lichangzai
  • 2016-06-02 10:52:04
  • 25248

Cloudera Manager5.12、Java1.8、Centos7集群部署(2)------ MySql安装配置

2、安装配置MySQLCloudera-manager、monitor的配置信息,hive的元数据,oozie,hue的配置及元数据等都需要在MySQL中存储,于是我们这里就先从安装MySQL开始。2...
  • u010699122
  • u010699122
  • 2018-04-16 13:58:53
  • 6
    个人资料
    等级:
    访问量: 130
    积分: 50
    排名: 179万+
    文章分类
    文章存档