Cloudera Manager离线部署CDH

最新推荐文章于 2024-01-12 13:41:58 发布
最新推荐文章于 2024-01-12 13:41:58 发布
阅读量286 收藏 2
点赞数
分类专栏： CDH 大数据 文章标签： cdh 安装部署 cm 虚拟机 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kamisane/article/details/89196946
版权

文章目录

1 说明

本文使用虚拟机进行测试
操作系统：CentOS 6
JDK版本：1.7.0_80
所需安装包及版本说明：
CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel
CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha
manifest.json
cloudera-manager-el6-cm5.4.3_x86_64.tar.gz

2 系统环境准备

拍快照后重置虚拟机为最纯净的系统
a. xshell连接node时使用ssh root@node01进行连接
b. 虚拟机所在分区的磁盘大小至少可用50G
b. cloudera推荐cm server内存64G,本文虚拟机配置及部署如下:

节点名称内存处理器serveragent
node0110G2*2✔✔
node022G2*1✔
node032G2*1✔

(1)网络配置

vi /etc/sysconfig/network
vi /etc/hosts

(2)SSH免密钥登录

如果没有~/.ssh目录,最好通过ssh localhost自动生成~/.ssh

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
ssh-copy-id node02

在node02中查看是否有对应公钥

cat ~/.sshd/authorized_keys

(3)防火墙关闭

service iptables stop
chkconfig iptables off

(4)SELINUX关闭

setenforce 0
vi /etc/selinux/config

修改配置

SELINUX=disabled

(5)安装JDK配置环境变量

scp jdk-7u67-linux-x64.rpm node02:`pwd`
rpm -ivh jdk-7u67-linux-x64.rpm
vim /etc/profile

配置文件中追加:

export JAVA_HOME=/usr/java/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

JAVA_HOME也可以写成:

export JAVA_HOME=/usr/java/default

jps进行验证

(6)安装NTP

a. 安装

yum install -y ntp

b. 设置开机启动

chkconfig ntpd on

c. 设置时间同步

ntpdate 202.120.2.101

(7)安装配置mysql

在配置较高的一台安装即可,本文安装在node01
a. 安装

yum install -y mysql-server

b. 启动服务

service mysqld start

c. 首次登录

mysql

d. 授权

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;

e. 刷新

flush privileges;

f. 重启服务,重新登录

service mysqld restart
mysql -uroot -p

(8)下载第三方依赖包
chkconfig、python、bind-utils、psmisc、libxslt、zlib、sqlite、cyrus-sasl-plain、cyrus-sasl-gssapi、fuse、fuse-libs、redhat-lsb

yum install -y chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

3. ClouderaManager安装

(1)安装Cloudera Manager Server、Agent

mkdir /opt/cloudera-manager
tar xf cloudera-manager*.tar.gz -C /opt/cloudera-manager

(2)创建用户cloudera-scm(所有节点)

useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

(3)配置CM Agent

修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中server_host

server_host=node01

(4)配置CM Server数据库

a. 拷贝mysql jar文件(驱动包)到目录 /usr/share/java/
注意jar包名称要修改为mysql-connector-java.jar

cd /usr/share
mkdir java
cp ~/soft/mysql*.jar /usr/share/java/mysql-connector-java.jar

b. 进入mysql授予temp用户权限

mysql -uroot -p123
grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
exit;

c. 执行脚本自动创建temp用户等配置

cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/
./scm_prepare_database.sh mysql temp -h node01 -utemp -ptemp --scm-host node01 scm scm scm
格式：数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器

(5)创建Parcel目录

a. Server节点

mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

b. Agent节点

mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

(6)制作CDH本地源

下载好文件CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel以及manifest.json，将这两个文件放到server节点的/opt/cloudera/parcel-repo下。
打开manifest.json文件，里面是json格式的配置，找到与下载版本相对应的hash码，新建文件，文件名与你的parel包名一致，并加上.sha后缀，将hash码复制到文件中保存。

mv ~/soft/CDH* /opt/cloudera/parcel-repo
mv ~/soft/manifest.json /opt/cloudera/parcel-repo

(7)分发至其他节点

必须先分发再启动

cd /opt/cloudera-manager
scp -r ./* node02:`pwd`
scp -r ./* node03:`pwd`

(8)启动CM Server、Agent(要保证mysql为启动状态)

a. 启动server,sever首次启动会自动创建表以及数据，不要立即关闭或重启，否则需要删除所有表及数据重新安装

cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/
./cloudera-scm-server start

b. 启动所有节点的agent

 cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/
./cloudera-scm-agent start

/opt/cloudera-manager/cm-5.4.3/log/cloudera-scm-server/cloudera-scm-server.log中出现以下字样代表成功
在这里插入图片描述

tail -f /opt/cloudera-manager/cm-5.4.3/log/cloudera-scm-server/cloudera-scm-server.log

(9)测试

访问：http://node01:7180，
用户名、密码：admin
若可以访问，则CM安装成功。

4 CDH安装

(1)选择版本

在这里插入图片描述

(2)安装选定Parcel

在这里插入图片描述

(3)检查主机正确性

在这里插入图片描述

Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响：
通过 echo 0 > /proc/sys/vm/swappiness 即可解决。

echo 0 > /proc/sys/vm/swappiness

三台主机都执行后重新运行检查

(4)选择安装服务

安装最基本的服务:HDFS,YARN,Zookeeper
在这里插入图片描述

(5)其他选项保持默认配置进行下一步即可

在这里插入图片描述
在这里插入图片描述

(6)安装成功,主页如下

在这里插入图片描述

豆花儿芋圆
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Cloudera Manager6.3.1+CDH6.3.2本地仓库方式搭建（超详细版）
weixin_39338423的博客
09-04 7094
CDH搭建 准备工作 CDH版本：6.3.1 hadoop版本：3.1.1 hbase版本：2.2.2 安装前须知： CDH6.3官方文档 CDH6操作系统版本对应官方文档 CDH6数据库版本对应官方文档 CDH6 JDK版本对应官方文档 略过环节：安装JDK 基础环境准备 所有服务器都关闭防火墙 查看防火墙状态 -> firewall-cmd --state 关闭防火墙 -> systemctl stop firewalld.service 所有服务器都关闭selinux ->
大数据部署离线安装CDH操作指南（环境准备+Cloudera manager安装+CDH部署）
03-08
自己整理的CDH离线部署安装指南，可依据此部署步骤开发一键部署脚本程序，从而省去手动部署敲命令的繁琐过程。由于一键部署包好几个G，就不发出来了。
Cloudera Manager 基本介绍(CDH版本)
热门推荐
程序员学习圈
09-11 2万+
1.cloudera manager 的概念 简单来说，Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。 2.cloudera manager 的功能 cloudera manager有四大功能： •...
Cloudera Manager —— 端到端的企业数据中心管理工具
Shockang的博客
07-30 800
Cloudera Manager 使用领先的整体界面，提供端到端的系统管理和关键企业功能，可在企业数据中心的各个部分中提供细粒度的可见性和控制。 Cloudera Manager 是唯一可用的企业级 Hadoop 管理应用程序：授权操作员提高集群性能，提高服务质量，提高合规性并降低管理成本。...
CDH及软件安装部署
erainm
12-18 716
1. Linux配置优化 1.1 Swappiness虚拟内存 swappiness是Linux的一个内核参数，控制系统在使用swap虚拟内存时，内存使用的相对权重。 swappiness参数值可设置范围在0到100之间。 此参数值越低，就会让Linux系统尽量少用swap虚拟内存分区，多用内存；参数值越高就是反过来，使内核更多的去使用swap空间。推荐设置为10。根据服务器硬件配置会有变化。 临时生效： sysctl -w vm.swappiness=10 永久生效： echo “vm.swappines
CDH-Cloudera Manager API 详解
最新发布
zcs2312852665的博客
01-12 1192
Cloudera Manager是一个用于管理和监控Hadoop集群的强大工具。它提供了一套REST API，使用户能够通过编程方式与Cloudera Manager进行交互，并执行各种操作，如创建集群、添加服务、配置角色等。
CDH5.16.2离线部署.docx
10-22
CDH5.16.2离线部署 CDH（Cloudera Distribution of Hadoop）是一款基于Apache Hadoop的商业发行版，提供了完整的Hadoop解决方案。...通过上述步骤，可以成功部署CDH 5.16.2集群，满足大数据处理和分析的需求。
CDH离线部署文档
04-13
CDH离线部署文档，目前已经在生产上正常使用，安装方便，文档详细！可作为生产使用！
Cloudera Manager一步步详细部署文档(离线parcels存储库方式）
06-03
Cloudera Manager安装手册(离线parcels存储库方式），基于CentOS操作系统一步步傻瓜式安装，截图记录整个部署过程。带集群功能验证，检查集群是否正常工作 目录 一、文档内容 3 二、软硬件环境 3 2.1.软件信息 3 ...
cloudera 6.3部署手册+离线包下载
04-27
本资源为cloudera 6.3 的部署学习，部署内容可选Kerberos选项。并且提供部署资源包的网盘下载地址，资源包如下。...cloudera-manager-centos7-cm5.15.1_x86_64.tar.gz manifest.json 开源CDH 6.3.1 部署手册
ClouderaManager
03-17
本书全面地讲解了Raspberry Pi硬件组合和操作系统的使用，从主板的介绍到操作系统语法的讲解，再到如何与Arduino交互应用，图文并茂、由浅入深地引导开发者，逐步深入剖析当下热门应用案例，具有很强的实操性，还有大量珍贵程序代码。本书适合电子专业、互交设计专业、新媒体技术专业学生阅读，也是电子
CLOUDERA-Manager_中文手册（全）
05-08
CLOUDERA-Manager_中文手册（全），后附CDH安装手册(Inter实验室版本)
Cloudera Manager详细安装教程
m0_63449353的博客
02-24 3758
1.1内存分配 将3台虚拟机分配好内存 一号机尽量多分配点资源 1.2 JDK安装 在/opt目录下创建文件夹 （1）在/opt目录下创建module、software文件夹 [zz@hadoop102opt]$ sudo mkdir module [zz@hadoop102opt]$ sudo mkdir software （2）修改module、software文件夹的所有者cd [zz@hadoop102opt]$ sudo chown zz:zz module/ ...
【译】Cloudera Manager（CDH）入门系列之一 （概述）
weixin_34192993的博客
09-29 867
Cloudera Manager 是一个端到端用于管理CDH集群的程序。Cloudera Manager提供了CDH群集很多细节的可视化和控制，因此它为企业化部署提供了一个标准。它使得企业能够高效、合理地管理集群。使用Cloudera Manager，用户可以轻松部署和集中操作完整的CDH堆栈和其他托管服务。这个程序可以自动地安装相关服务，将部署时间大大缩短。它为您提供运行主机和服务的集群范围的...
CDH6.3.1安装
Allenzyg的博客
05-28 5659
CDH6.3.1安装遇到很多问题，我想主要是由于条件有限，毕竟自己的电脑内存不如专业集群的内存大（如果是内存和硬盘充足，有些是可以避免的，甚至不会出现报错的情况），这里就介绍一下我用VMware安装的虚机中搭建CDH集群的辛酸历程。为了避免多次、重复安装不成功，所以需要具备以下条件： 1. 内存要足够大 我的电脑内存是8G： 使用虚拟机安装 Cloudare server：4G Cloudare agent：分别为1G 电脑最后很卡，而且内存98%。 官方推荐最小内存为10G，所以最好还是听从官方的建...
clouder manager
yunmeng879的博客
03-03 367
clouder manager 重启出错： [root@master ~]# systemctl restart cloudera-scm-server 2021-03-03 15:05:56,256 ERROR main:com.cloudera.server.cmf.Main: Server failed. org.springframework.beans.factory.access.BootstrapException: Unable to return specified BeanFactor
超详细版企业离线部署CDH6.10集群与配置使用
涤生大数据
06-11 7055
进入大数据行业数载，也从一个开发小白走到了今天，期间也历经过一摸番着石头过河的探索，到如今的胸有点墨；玩过demo,使用过负责过上千节点的大数据集群开发与使用；被人面虐过，也面挂过很多人；如今，想趁着自己心中有火，眼里有光的年纪，把自己的一点心得与经验分享大数据行业的爱好者。也希望有助于后面的童鞋少走弯路，也欢迎大家私信交流。持续每周更新。 死磕大数据系列 1.死磕大数据系列将从企业上千节点集群的搭建（包括cdh集群，以及升级后apache hadoop3集群），性能优化，牵扯到的组件包括...
集群安装（一）Cloudera Manager离线部署CDH
xuefenxi的博客
08-10 929
Cloudera Manager离线部署CDH文档 一、说明 二、系统环境搭建 1、网络配置(所有节点) 2、SSH免密码登录 3、关闭防火墙 4、关闭SELINUX 5、安装JDK 6、设置NTP 7、安装配置MySql 8、下载依赖包 三、Cloudera Manager Server&Agent安装 1、安装Cloudera Manager Server&Agent...
6.2 Cloudera Manager(CDH)安装
心雨先生
06-20 2619
前提：前面安装前准备步骤没有出错1、安装Cloudera Manager Server、Agent上传cloudera-manager-el6-cm5.4.3_x86_64.tar.gz 包mkdir /opt/cloudera-managertar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager或 tar -zxvf clouder...
企业级大数据平台CDH详细搭建过程
11-28
另外，为了离线部署，需要提前准备好CDH安装包。需要下载的文件包括Cloudera Manager 5等。 接下来，依次进行各个组件的安装。首先是Hadoop的安装，可以根据下载的文件进行安装。然后是Hive、Hbase、Spark和Kafka的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值