CentOS7.3下安装Cloudera Manager5.11.1

最新推荐文章于 2024-07-01 08:30:00 发布
最新推荐文章于 2024-07-01 08:30:00 发布
阅读量209 收藏 1
点赞数
分类专栏： hadoop CDH
  • 概述
  • 准备条件
  • 系统环境配置
  • 安装Java
  • 安装MySQL
  • 安装CM
  • CM配置
  • Q&A
  • 参考

概述

最近公司需要研究大数据方向的内容，经初步讨论，决定使用CDH版本 
的Hadoop，使用Cloudera生态下的Cloudera Manager平台。CDH(Cloudera’s Distribution, 
including Apache Hadoop),是Hadoop分支中的一种，由Cloudera 
维护，基于稳定版本的Apache hadoop构建，并继承了许多补丁，可以直接用于生产环境。 

Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关 
的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大 
简化。

准备条件

本文环境是在虚拟机上搭建的分布式环境。 
- 硬件： 
- 主节点 Intel Core i5-4200H,12G,80G 从节点Intel Core i5-5200u,12G,40G*2
- 软件: 
- 操作系统 ： CentOS7.3 GNOME DESTOP + development tools组包 
- java : 这里使用的是jdk-8u131-linux-x64.rpm 
- mysql : 这里使用的是mysql-5.7.18-1.el7.x86_64.rpm-bundle.tar以及mysql-connector-java-5.1.42-bin.jar 
- Cloudera Manager 
- 下载地址 : https://archive.cloudera.com/cm5/cm/5/ 
- 这里下载的是 ： https://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.11.1_x86_64.tar.gz 
- CDH安装包 
- 下载地址 ： http://archive.cloudera.com/cdh5/parcels 
- 这里用的是 ：CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel和CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha1

注意对应的版本号，CentOS7对应的是el7

系统环境配置

  • 首先修改各台机器上的主机名,如本人设置为linuxvnode0,linuxvnode1,linuxvnode2。
# hostnamectl set-hostname linuxvnode0
  • 1
  • 修改主机名与IP的对应关系，向所有服务器配置/etc/hosts文件，向其中添加行
# vim /etc/hosts
192.168.8.96 linuxvnode0
192.168.8.97 linuxvnode1
192.168.8.98 linuxvnode2
  • 1
  • 2
  • 3
  • 4
  • 配置SSH无秘钥登录服务,注意每台机器上都要配置
# ssh-keygen -t rsa
# ssh-copy-id linuxvnode0
# ssh-copy-id linuxvnode1
# ssh-copy-id linuxvnode2
  • 1
  • 2
  • 3
  • 4
  • 所有服务器均创建安装用户：cloudera
# groupadd cloudera
# useradd -g cloudera cloudera
# echo "*********" | passwd --stdin cloudera
  • 1
  • 2
  • 3
  • 所有服务器为cloudera用户配置sudo权限
# chmod u+w /etc/sudoers
# echo "cloudera ALL=(root)NOPASSWD:ALL" >> /etc/sudoers
# chmod u-w /etc/sudoers
  • 1
  • 2
  • 3
  • 所有服务器关闭防火墙和Selinux服务
关闭防火墙
# systemctl mask firewalld.service
关闭Selinux
# sed -i '/SELINUX=enforcing/d' /etc/selinux/config
# sed -i '/SELINUX=disabled/d' /etc/selinux/config
# echo "SELINUX=disabled" >> /etc/selinux/config
重启后生效。
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 所有服务器设置文件打开数量及最大进程数
cp /etc/security/limits.conf /etc/security/limits.conf.bak
# echo "* soft nproc 32000" >>/etc/security/limits.conf
# echo "* hard nproc 32000" >>/etc/security/limits.conf
# echo "* soft nofile 65535" >>/etc/security/limits.conf
# echo "* hard nofile 65535" >>/etc/security/limits.conf
  • 1
  • 2
  • 3
  • 4
  • 5
  • 配置集群时间同步服务：通过ntp服务配置
ntp主节点配置：
# cp /etc/ntp.conf /etc/ntp.conf.bak
# cp /etc/sysconfig/ntpd /etc/sysconfig/ntpd.bak
# echo "restrict 192.168.100.0 mask 255.255.255.0 nomodify notrap" >> /etc/ntp.conf
# echo "SYNC_HWCLOCK=yes" >> /etc/sysconfig/ntpd
# service ntpd restart

ntp从节点配置
创建shell脚本内容如下：
# vim /opt/scripts/sync_time.sh
# /sbin/service ntpd stop
# /usr/sbin/ntpdate linuxvnode0
# /sbin/service ntpd start
赋权
# chmod 777 sync_time.sh
建立定时任务
# crontab -e
输入如下一行内容，保存退出：
0-59/10 * * * * /opt/scripts/sync_time.sh
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19

安装Java

每台服务器需要安装相同版本的Java。这里采用的是rpm方式安装Java.

  • CentOS7自带了OpenJDK,但并不适用Cloudera Manager,所以首先检查安装的Java,卸载自带的OpenJDK。
[root@localhost ~]# rpm -qa | grep java
[root@localhost ~]# rpm -qa | grep java
tzdata-java-2014i-1.el7.noarch
java-1.7.0-openjdk-headless-1.7.0.71 -2.5.3.1 .el7_0.x86_64
java-1.7.0-openjdk-1.7.0.71 -2.5.3.1 .el7_0.x86_64
java-1.8.0-openjdk-headless-1.7.0.71 -2.5.3.1 .el7_0.x86_64
java-1.8.0-openjdk-1.7.0.71 -2.5.3.1 .el7_0.x86_64
删除上面的java包
# rpm -e --nodeps $PACKGENAME
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 安装Oracle JDK
# rpm -ivh jdk-8u131-linux-x64.rpm  Java默认安装在/usr/java/目录下
  • 1
  • 配置Java环境变量，在/etc/profile后添加：
# vim /etc/profile
JAVA_HOME=/usr/java/jdk1.8.0_131
JRE_HOME=/usr/java/jdk1.8.0_131/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 使环境变量生效
# source /etc/profile
  • 1


建议手动指定一下java的使用版本，避免在安装Spark组件时报错 
alternatives –config java 

安装MySQL

这里使用的是mysql-5.7.18-1.el7.x86_64.rpm-bundle.tar安装，解压缩后会有Mysql相应的rpm文件， 
我们只需要依次安装一下几个rpm即可。 
mysql-community-common-5.7.18-1.el7.x86_64.rpm 
mysql-community-libs-5.7.18-1.el7.x86_64.rpm 
mysql-community-client-5.7.18-1.el7.x86_64.rpm 
mysql-community-server-5.7.18-1.el7.x86_64.rpm 
1. 和安装Java一样，首先需要检查是否已经安装了MySQL。

# rpm -qa|grep mysql 如果有的话请先卸载
  • 1

然后再依次安装上述的rpm文件，因为它们存在相互依赖。 
2. 安装完毕后启用mysql服务。

# systemctl start mysqld
# systemctl status mysqld
  • 1
  • 2


3. 这种方式完成安装MySQL后，会自动随机生成一个原始密码。登录并修改密码，否则报密码过期错误。

# cat /var/log/mysqld.log | grep password
2017-05-13T05:39:44.497086Z 1 [Note] A temporary password is generated for root@linuxvnode0: sjsO:Pin<5c_
使用上述密码登录MySQL
# mysql -uroot -p
Enter password:
登录成功后：
mysql> SET PASSWORD = PASSWORD('**********');
Query OK, 0 rows affected, 1 warning (0.00 sec)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8


注意此处密码设置必须用强密码，否则安装CM时报密码过期错误。 


4. 设置root授权访问以上所有的数据库,因为CM安装时会创建数据库，这里设置后安装CM时可以设置数据库的host为linuxvnode0

mysql>grant all privileges on *.* to 'root'@'linuxvnode0' identified by '****' with grant option;
mysql>flush privileges;
  • 1
  • 2


5. 由于本人需要安装hive做为数据仓库，同时使用了Mysql作为Hive的存储方式，所以这里单独为hive建立一个库。

#为hive建库hive
mysql>create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
  • 1
  • 2


个人感觉此处必须得新建一个库与CM安装时建立的库分开，否则启动Hive时会报角色无法启动的错误。 

安装Cloudera Manager


1. 来到了重头戏了，首先主节点上解压相应的文件cloudera-manager-centos7-cm5.11.1_x86_64.tar.gz 
到/opt/目录下。

# tar -zxvf cloudera-manager-centos7-cm5.11.1_x86_64.tar.gz -C /opt/
  • 1


2. 将mysql-connector-java-5.1.42-bin.jar放到/opt/cm-5.11.1/share/cmf/lib下并初始化数据库

# cp mysql-connector-java-5.1.42-bin.jar /opt/cm-5.11.1/share/cmf/lib
/opt/cm-5.11.1/share/cmf/schema/scm_prepare_database.sh [-数据库类型] [-创建的数据库名] [-h主机名] [-u用户名] [-p密码]
# /opt/cm-5.11.1/share/cmf/schema/scm_prepare_database.sh mysql cm5111 -hlinuxvnode0 -uroot -p****** --scm-host linuxvnode0 scm scm scm
  • 1
  • 2
  • 3


3. 配置agent：修改/opt/cm-5.11.1/etc/cloudera-scm-agent/config.ini文件修改server_host为主节点主机名。 

4. 每台服务器上执行命令创建scm用户

# useradd --system --home=/opt/cm-5.11.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
  • 1


5. 将Agent同步到其他节点

# scp -r /opt/cm-5.11.1 linuxvnode1:/opt
# scp -r /opt/cm-5.11.1 linuxvnode2:/opt
  • 1
  • 2


6. 将parcels安装包放置到/opt/cloudera/parcel-repo目录下。 
7. 执行相应的脚本，启动服务。

主节点启动 ：
# /opt/cm-5.11.1/etc/init.d/cloudera-scm-server start
所有节点启动 ：
# /opt/cm-5.11.1/etc/init.d/cloudera-scm-agent start
  • 1
  • 2
  • 3
  • 4


8. 启动成功后输入 linuxvnode0:7180即可进入Cloudera Manager运维平台界面,初始密码为 admin/admin. 
(可能CM启动较久，需要一点时间才能进入) 进入后按照提示即可安装集群以及相应组件。

如若安装hive组件且使用Mysql类型的数据仓库，那么需要为hive增加MySQL connector 
cp mysql-connector-java-5.1.42-bin.jar /opt/cloudera/parcels/CDH/lib/hive/lib/mysql-connector-java-5.1.42-bin.jar

CM配置

由于机器集群已经安装好，下面借用了参考地址中的图片说明CM的配置。 
1. 一开始是进入登录界面，输入admin/admin即可登录。 
初始化界面
2. 选择部署的版本。 
这里写图片描述
可以看到，现在的免费版本没有节点个数的限制了。 
3. 继续下一步，选择安装的CM的版本。 
这里写图片描述 
这里写图片描述
4. 当各个Agent节点正常启动后，会展示每个节点的安装情况。耐心等待安装完即可。 
这里写图片描述 
5. 安装检查中可能提示以下问题 
这里写图片描述
解决方法如下： 

# sysctl -w vm.swappiness=10 
# echo "vm.swappiness=10" >>/etc/sysctl.conf 
# echo never > /sys/kernel/mm/transparent_hugepage/defrag 
# echo never > /sys/kernel/mm/transparent_hugepage/enabled 
然后在每个节点中加入启动脚本： 
# vim /etc/rc.local 

6. 选择你需要安装的服务即可。 
这里写图片描述

建议第一步安装zookeeper服务，第二步按照hdfs服务，第三步安装yarn服务，以后可以安装需要定制的服务(hive,hbase,spark,flume等)

Q&A


  • Hive 
    1. version information not found. 

界面内hive->配置中 
hive.metastore.schema.verification 设置为false 去掉勾选。

参考

https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_install_path_c.html 
http://www.cnblogs.com/codedevelop/p/6762555.html 
http://www.cnblogs.com/wcwen1990/p/6841118.html?utm_source=itdadao&utm_medium=referral

ps:第一次用Markdown写的，略酸爽。

版权声明：转载请注明作者。 https://blog.csdn.net/rj08zhou/article/details/76116596
相遇七月二
关注
专栏目录
CentOS 7.3 Linux系统安装过程介绍
dvlinker的技术专栏
07-29 2437
本文详细介绍CentOS 7.3 Linux系统的完整安装过程。
CentOS7离线安装Cloudera Manager（tar包版）
01-23
离线安装Cloudera Manager在某些情况下是必要的，特别是在网络环境不稳定或受限制的环境中。本文将详细介绍如何在CentOS7.5系统上，通过tar包的方式离线安装Cloudera Manager 5.16.1及其配套组件CDH。首先，你需要...
ClouderaManager
03-17
本书全面地讲解了Raspberry Pi硬件组合和操作系统的使用，从主板的介绍到操作系统语法的讲解，再到如何与Arduino交互应用，图文并茂、由浅入深地引导开发者，逐步深入剖析当下热门应用案例，具有很强的实操性，还有大量珍贵程序代码。本书适合电子专业、互交设计专业、新媒体技术专业学生阅读，也是电子
cloudera manager
AliX9527的专栏
03-03 1110
Cloudera Manager简介  Hadoop家族  整个Hadoop家族由以下几个子项目组成： Hadoop Common： Hadoop体系最底层的一个模块，为Hadoop各子项目提供各 种工具，如：配置文件和日志操作等。 HDFS： 是Hadoop应用程序中主要的分布式储存系统， HDFS集群包含了一个NameNode（主节点），这个节点负责管理所有
Cloudera Manager —— 端到端的企业数据中心管理工具
Shockang的博客
07-30 864
Cloudera Manager 使用领先的整体界面，提供端到端的系统管理和关键企业功能，可在企业数据中心的各个部分中提供细粒度的可见性和控制。 Cloudera Manager 是唯一可用的企业级 Hadoop 管理应用程序：授权操作员提高集群性能，提高服务质量，提高合规性并降低管理成本。...
Centos 7 离线安装Cloudera Manager6 和CDH6.3.1.docx
05-19
CentOS 7 离线安装 Cloudera Manager 6 和 CDH 6.3.1 本文将指导您在 CentOS 7 环境中离线安装 Cloudera Manager 6 和 CDH 6.3.1。整个安装过程可以分为多个步骤，包括环境准备、系统配置、Java 环境配置、SSH 无...
CentOS7.3.1611下，离线安装keepalived1.4.4+nginx1.14.0所需要的一些RPM包
06-09
在CentOS7.3.1611操作系统中，离线安装keepalived 1.4.4和nginx 1.14.0是一项技术挑战，因为通常我们依赖于网络来下载必要的RPM包。然而，对于那些在没有互联网连接或者网络受限的环境中工作的IT专业人员来说，离线...
centos7.3.txt
02-17
该文本为CentOS7.3的百度云盘链接，里面包含了CentOS7.3所有版本。所有文件均从官网上下载的，安全可靠。需要的同学可以自行下载。谢谢
ClouderaManager(简称CM)+CDH构建大数据平台
02-24
ClouderaManager(简称CM)是Cloudera公司开发的一款大数据集群安装部署利器，这款利器具有集群自动化安装、中心化管理、集群监控、报警等功能，使得安装集群从几天的时间缩短在几小时以内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。所以为了同学们能够快速搭建该平台，写出以下教程仅供参考，有什么不足之处请提出，加以改正。开始之前其实有很多的工作要做，比如配置IP地址、关闭防火墙、配置SSH免密登录等，这些都是比较常规的环境配置，这里不再赘述，不懂者自行百度。附上大数据“前世今生”的一篇文章给大家，希望大家对大数据有更多的了解，大数据的前世今生：诞生、发展、未来？Age
CLOUDERA-Manager_中文手册（全 高清）+ CDH安装手册
05-09
CLOUDERA-Manager_中文手册（全 高清），后附CDH安装手册(Inter实验室版本)（Cloudera Manager 产品介绍 2016 年 3 月 3 日）
【译】Cloudera Manager（CDH）入门系列之一 （概述）
weixin_34192993的博客
09-29 890
Cloudera Manager 是一个端到端用于管理CDH集群的程序。Cloudera Manager提供了CDH群集很多细节的可视化和控制，因此它为企业化部署提供了一个标准。它使得企业能够高效、合理地管理集群。使用Cloudera Manager，用户可以轻松部署和集中操作完整的CDH堆栈和其他托管服务。这个程序可以自动地安装相关服务，将部署时间大大缩短。它为您提供运行主机和服务的集群范围的...
Cloudera Manager介绍
只是甲的博客
12-04 1122
Cloudera Manager 是CDH 市场领先的管理平台。作为业界第一的端到端Apache Hadoop 的管理应用，Cloudera Manager 对CDH 的每个部件都提供了细粒度的可视化和控制，从而设立了企业部署的标准。通过Cloudera Manger，运维人员得以提高集群的性能，提升服务质量，提高合规性并降低管理成本。 Cloudera Manager 设计的目的是为了使得对于企业数据中心的管理变得简单和直观。通过Cloudera Manager，可以方便地部署，并且集中式的操作完整的大数
Centos7及Cloudera Manager安装教程
DATA8866的博客
02-27 5610
CentOS7系统下的平台搭建 一、简介 CentOS是Linux发行版之一，它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。Ubuntu是一个以桌面应用为主的Linux操作系统。CentOS简约，命令行下的人性化做得比较好，稳定，有着强大的英文文档与开发社区的支持。Ubuntu近些年的使用率有所增加，它用户界面漂亮、管理系统完善、软
大数据平台之Cloudera Manager
最新发布
youziguo的专栏
07-01 1042
Cloudera Manager 是一个企业级平台，用于管理、监控和优化 Apache Hadoop 集群。它提供了一个集中的控制台，使管理员能够有效地管理大规模的 Hadoop 环境，简化了集群部署、配置、监控和维护的工作。
安装Cloudera Manager
fearless11的博客
03-06 673
cloudera manager有四大功能：（1）管理：对集群进行管理，如添加、删除节点等操作。 （2）监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。 （3）诊断：对集群出现的问题进行诊断，对出现的问题给出建议解决方案。 （4）集成：对hadoop的多组件进行整合。一、环境准备搭建好yum源 （1）设置IP #vim /etc/sysconfig/network-s
Cloudera Manager 基本介绍(CDH版本)
热门推荐
程序员学习圈
09-11 2万+
1.cloudera manager 的概念 简单来说，Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。 2.cloudera manager 的功能 cloudera manager有四大功能： •...
Cloudera Manager大数据平台
禧年
03-10 864
一、CDH概述 前言： Cloudera 提供了 Hadoop 的商业发行版 CDH ，能够十分方便地对 Hadoop 集群进行安装、部署里面不仅包含了 loudera 的商业版 Hadoop ，同时 DH 中也包含了各类常用的开源数据处理与存储框架，如 Spark Hive HBas 等。 CDH和Hadoop对比 Hadoop 大致 分为 Apach Hadoop 和第三方发行版 Ha...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值