CM搭建

最新推荐文章于 2021-09-17 14:32:00 发布
最新推荐文章于 2021-09-17 14:32:00 发布
阅读量154 收藏
点赞数
分类专栏： cm 文章标签： cm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35315256/article/details/89000598
版权

搭建环境必看https://blog.csdn.net/qq_35315256/article/details/88989194

环境准备好开始搭建

1、所有节点创建mkdir /opt/cloudera-manager

创建用户

useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

 

1、上传相关包

2、所有节点创建

mkdir /opt/cloudera-manager
useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3、解压cm包

tar -zxvf cloudera-manager-el6-cm5.4.3_x86_64.tar.gz -C /opt/cloudera-manager

4、配置

1、vim /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini

server_host=node1 # cm server的hosts
# 默认
server_port=7182

2、配置CM Server数据库

修改mysql驱动包为  mysql-connector-java.jar

并拷贝到  /usr/share/java

配置mysql用户cloudrea 密码 cloudrea 

grant all on *.* to 'cloudera'@'%' identified by 'cloudera' with grant option; 

cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/

./scm_prepare_database.sh mysql cloudera -h node1 -ucloudera -pcloudera --scm-host node1 scm scm scm
数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器

格式：数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器

3、制作本地cdh源

Server节点
– mkdir -p /opt/cloudera/parcel-repo
– chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

Agent节点
– mkdir -p /opt/cloudera/parcels
– chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
这三个文件
CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel 
CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha
manifest.json
放到server节点的 /opt/cloudera/parcel-repo

注意

需要mkdir /opt/cm-5.7.0/run/cloudera-scm-agent

最后将CDH-5.7.1-1.cdh5.7.1.p0.5-el6.parcel.sha1，重命名为CDH-5.7.1-1.cdh5.7.1.p0.5-el6.parcel.sha

4、把cloudera-manager下的分发到node2和node3

5、cd  /opt/cloudera-manager/cm-5.8.0/etc/init.d 

准备启动

全部会话：cd /opt/cloudera-manager/cm-5.8.0/etc/init.d/

CDH1:执行./cloudera-scm-server start

CDH1,2,3执行：./cloudera-scm-agent start

 

观察启动server的日志

cd /opt/cloudera-manager/cm-5.8.0/log/cloudera-scm-server

tail -f 上面目录下的log的文件

警告一 
Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf，以在重启后保存该设置。您可以继续进行安装，但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。以下主机将受到影响 
解决方法 
每台受影响的主机运行 
echo 10 > /proc/sys/vm/swappiness 即可解决。

警告二 
已启用透明大页面压缩，可能会导致重大性能问题。请运行“echo never > /sys/kernel/mm/transparent_hugepage/defrag”以禁用此设置，然后将同一命令添加到 /etc/rc.local 等初始脚本中，以便在系统重启时予以设置。以下主机将受到影响 
解决方法 
每台受影响的主机运行命令 
echo never > /sys/kernel/mm/transparent_hugepage/defrag 
并且 
vim /etc/rc.local 
加入echo never > /sys/kernel/mm/transparent_hugepage/defrag这条命令。 
然后点击重新运行进行重新检查
 

 

添加mysql用户

mysql grant all on oozie.* TO 'oozie'@'%' identified by 'oozie';

 

解析Cloudera Manager内部结构

 

问题导读
1.CM的安装目录在什么位置？

2.hadoop配置文件在什么位置？


3.Cloudera manager运行所需要的信息存在什么位置？

4.CM结构和功能是什么？


1. 相关目录

  • /var/log/cloudera-scm-installer : 安装日志目录。
  • /var/log/* : 相关日志文件（相关服务的及CM的）。
  • /usr/share/cmf/ : 程序安装目录。
  • /usr/lib64/cmf/ : Agent程序代码。
  • /var/lib/cloudera-scm-server-db/data : 内嵌数据库目录。
  • /usr/bin/postgres : 内嵌数据库程序。
  • /etc/cloudera-scm-agent/ : agent的配置目录。
  • /etc/cloudera-scm-server/ : server的配置目录。
  • /opt/cloudera/parcels/ : Hadoop相关服务安装目录。
  • /opt/cloudera/parcel-repo/ : 下载的服务软件包数据，数据格式为parcels。
  • /opt/cloudera/parcel-cache/ : 下载的服务软件包缓存数据。
  • /etc/hadoop/* : 客户端配置文件目录。


2. 配置

  • Hadoop配置文件

    配置文件放置于/var/run/cloudera-scm-agent/process/目录下。如：/var/run/cloudera-scm-agent/process/193-hdfs-NAMENODE/core-site.xml。这些配置文件是通过Cloudera Manager启动相应服务（如HDFS）时生成的，内容从数据库中获得（即通过界面配置的参数）。

    在CM界面上更改配置是不会立即反映到配置文件中，这些信息会存储于数据库中，等下次重启服务时才会生成配置文件。且每次启动时都会产生新的配置文件。

    CM Server主要数据库为scm基中放置配置的数据表为configs。里面包含了服务的配置信息，每一次配置的更改会把当前页面的所有配置内容添加到数据库中，以此保存配置修改历史。

    scm数据库被配置成只能从localhost访问，如果需要从外部连接此数据库，修改vim /var/lib/cloudera-scm-server-db/data/pg_hba.conf文件,之后重启数据库。运行数据库的用户为cloudera-scm。

 

  • 查看配置内容

     
    • 直接查询scm数据库的configs数据表的内容。
    • 访问REST API： http://hostname:7180/api/v4/cm/deployment，返回JSON格式部署配置信息。


 

  • 配置生成方式

    CM为每个服务进程生成独立的配置目录（文件）。所有配置统一在服务端查询数据库生成（因为scm数据库只能在localhost下访问）生成配置文件，再由agent通过网络下载包含配置文件的zip包到本地解压到指定的目录。

 

  • 配置修改

    CM对于需要修改的配置预先定义，对于没有预先定义的配置,则通过在高级配置项中使用xml配置片段的方式进行配置。而对于/etc/hadoop/下的配置文件是客户端的配置，可以在CM通过部署客户端生成客户端配置。

3. 数据库

Cloudera manager主要的数据库为scm,存储Cloudera manager运行所需要的信息：配置，主机，用户等。


4. CM结构

CM分为Server与Agent两部分及数据库（自带更改过的嵌入Postgresql）。它主要做三件事件：

  • 管理监控集群主机。
  • 统一管理配置。
  • 管理维护Hadoop平台系统。

实现采用C/S结构，Agent为客户端负责执行服务端发来的命令，执行方式一般为使用python调用相应的服务shell脚本。Server端为Java REST服务，提供REST API，Web管理端通过REST API调用Server端功能，Web界面使用富客户端技术（Knockout）。

  • Server端主体使用Java实现。
  • Agent端主体使用Python, 服务的启动通过调用相应的shell脚本进行启动，如果启动失败会重复4次调用启动脚本。
  • Agent与Server保持心跳，使用Thrift RPC框架。



5. 升级

在CM中可以通过界面向导升级相关服务。升级过程为三步：

  • 下载服务软件包。
  • 把所下载的服务软件包分发到集群中受管的机器上。
  • 安装服务软件包，使用软链接的方式把服务程序目录链接到新安装的软件包目录上。



6. 卸载

sudo /usr/share/cmf/uninstall-scm-express.sh, 然后删除/var/lib/cloudera-scm-server-db/目录，不然下次安装可能不成功。



7. 开启postgresql远程访问

CM内嵌数据库被配置成只能从localhost访问，如果需要从外部查看数据，数据修改vim /var/lib/cloudera-scm-server-db/data/pg_hba.conf文件,之后重启数据库。运行数据库的用户为cloudera-scm。

 

 

 

 

 

 

 

尘缘未了-
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Cloudera Manager安装
乔治大哥的博客
11-11 428
系统环境搭建 1、网络配置(所有节点) vi /etc/sysconfig/network vi /etc/hosts 2、SSH免密钥登录 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa ssh-copy-id 3、防火墙关闭 service iptables stop chkconfig iptables off 4、SELINUX关...
CM部署文档
09-06
CM搭建部署文档，采用离线安装模式，包括Spark Hadoop CHD的搭建
cm安装前，创建元数据库和创建相应的用户，放java操作mysql的jar包
小哇
09-29 320
cdh001节点上操作 # 以下的密码太简单了，所以临时设置下密码规则 set global validate_password_policy=0; set global validate_password_mixed_case_count=0; set global validate_password_number_count=3; set global validate_password_special_char_count=0; set global validate_password_lengt
Linux新建用户
白宇 的博客
12-28 639
useradd 选项 写道 选项： -b, --base-dir BASE_DIR 新账户的主目录的基目录 -c, --comment COMMENT 新账户的 GECOS 字段 -d, --home-dir HOME_DIR 新账户的主目录 -D, --defaults 显示或更改默认的 useradd 配置 -e, --expiredate EXPIRE_DATE 新账户的过期日期 -f...
CM+CDH安装搭建全过程（总结版）
Pizza_great的博客
07-02 2965
目录 第一次搭建CM、CDH 第二次搭建CM、CDH 搭建环境： 搭建过程： 报错过程： 总结复盘： 第三次搭建CM、CDH 搭建环境： 搭建过程： 报错过程： 总结复盘： 第四次搭建CM、CDH 搭建环境： 搭建过程： 报错过程： 总结复盘： 第一次搭建CM、CD...
安装cm初始脚本配置数据库scm_prepare_database.sh(在主节点上)遇到的问题
geomon的博客
01-29 5542
修改MySQL的root用户的密码以及打开远程连接 mysql>use mysql; mysql>desc user; mysql>GRANT ALL PRIVILEGES ON *.* TO root@"%" IDENTIFIED BY "123";　　//为root添加远程连接的能力。 mysql>update user set Password = password(...
CM5和CDH5 搭建Hadoop 集群
03-30
详细安装过程，各种报错和问题的解决方法。步骤很清晰。
AVAYA CM配置
09-28
内部为avaya cm的配置文档，一般解决方案s8300可以直接配置，
大数据平台搭建.docx
11-04
大数据平台搭建文档，基于CDH6.3.2 CM6.3.1
ubuntu完全分布式搭建CDH集群（Cloudera Manager）
04-20
基于Ubuntu 14.04.3，搭建完全分布式CDH集群参考资料。 在公司测试环境中使用3台服务器完成搭建，
CDH、Cloudera Manager简介及离线安装步骤
逆天骚年的博客
05-04 3060
CDH是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，提供了Hadoop的核心， 可扩展存储，分布式计算，基于Web的用户界面Cloudera Manager是一个管理CDH的端到端的应用。它的作用是对CDH进行管理、监控、诊断和集成安装前的准备：①网络配置②SSH免密钥登录③防火墙关闭④SELINUX关闭（setenforce 0  vi /...
Cloudera CM5.3.1&CDH-5.3.0集群安装
01-31 2906
Cloudera Hadoop 优点： 1、友好的监控展示界面 2、集成了Spark-1.2.0、Impala-2.1.0等 缺点： 可控性较Apache版本弱
useradd命令不能够在/home下创建用户主目录
热门推荐
liufunan的专栏
08-08 1万+
1：有时候直接使用:useradd hadoop并不能够在/home下创建hadoop的文件夹，这是由于/etc/login.defs中的假如在/etc/login.defs中的CREATE_HOME被设置为no。2：解决方案 — > 加上一个“-m”useradd -m hadoop在man useradd文档中，会发现，-m可以在系统不允许创建用户主目录的情况之下创建用户主目录。
Centos7安装CDH6文档
小5哥的专栏
01-19 1305
1软件需求 vagrant_1.9.6_x86_64.msi VirtualBox-5.1.24-117012-Win.exe vagrant-centos-7.2.box mysql-connector-java-5.1.47.tar.gz CDH6相关软件包(cm6.0和 cdh6.0)，如下    2集群规划 Ip Hostname ...
大数据平台CDH6.3.2安装部署全过程
daining424的博客
09-17 3418
大数据平台CDH6.3.2安装部署全过程一、CDH介绍二、 安装环境2.1 虚拟机版本：VMware Workstation 15 Pro2.2 Linux CentOS-7.3 台2.3 安装包准备:三、 环境配置3.1 网络配置3.2 防火墙配置3.3 主机配置3.4 JDK配置3.5 安装cloudera-manager-daemons四、克隆虚拟机及配置4.1 克隆机器之前已完成4.2 克隆节点CDH02、CDH03的环境配置4.3 克隆节点CDH02、CDH03网络配置4.3.1 生成uuid4.
CDH安装配置（详细说明）
程序员s的博客
12-27 4242
从网上看了很多的资料，填了不少的坑。总结一下。（这篇是整合网络的资料+自己的坑） 关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境...
Cloudera迁移scm数据库
旭日阳光
10-12 1841
http://site.clairvoyantsoft.com/migrate-cloudera-scm-database-from-postgresql-to-mysql/http://node0:7180/api/v14/cm/deployment ——–正确网址。1.停止服务；1.在UI界面，停止集群； 2.在UI界面，停止cm的service，monitor等全部服务； 3.在L
搭建CM时，初始化数据库报错的整理
Cleoprtra.L的博客
07-20 2841
1） 原因：找不到JAVA_HOME 解决：环境变量必须配置在/usr/java/下 2） 原因：找不到mysql驱动 解决：上传mysql-connector-java.jar到/opt/cm-5.7.0/share/cmf/lib下 3） 原因：数据库用户名的密码不符合规则 解决：重新修改scm库的用户密码（至少8位，包含大小写字母，数字，特殊字符）...
CM安装
张不帅
07-21 1237
文章目录CM的安装部署CM安装:修改CM Agent配置配置CM的数据库使用CM自带的脚本，在MySQL中创建CM库分发cm创建Parcel-repo服务节点启动集群中的机器工作节点全部启动 CM的安装部署 CM下载地址: http://archive.cloudera.com/cm5/cm/5/ 离线库下载地址: http://archive.cloudera.com/cdh5/parcels ...
cm搭建numberformatexception
最新发布
07-28
根据提供的引用内容，我无法确定你提到的"cm搭建numberformatexception"是指什么。请提供更多的上下文或者详细的问题描述，以便我能够帮助你解答。 #### 引用[.reference_title] - *1* *2* *3* [Gerrit搭建与代码...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值