CDH-Hadoop5.12.1Parcel离线安装及部署

最新推荐文章于 2024-05-07 08:09:34 发布
最新推荐文章于 2024-05-07 08:09:34 发布
阅读量774 收藏 1
点赞数
分类专栏： Hadoop 文章标签： cdh hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shufangreal/article/details/103250474
版权

CDH-Hadoop5.12.1Parcel离线安装及部署

简介：相比apache的hadoop、cdh版本的稳定性兼容性更好，（常见的hadoop的发行版有hdp、MapR 、EMR…）具体对比如下表：

Cloudera’s distribute Apache Hadoop(cdh)

cdhapache
版本划分清晰、版本更新快版本管理混乱、维护困难、没有监控
文档清晰部署过程繁琐、升级过程复杂
兼容性好、稳定兼容性差
kerberos安全认证安全性低

1. cdh的安装方式

cdh的安装方式有很多种：

  • cloudera manager离线安装（生产过程中的主要安装方式）

  • yum 安装

  • rpm 安装

  • Tarball 安装

1.1的下载地址

​ 5.4 CDH

​ 5.4.3 cloudera manager

1.2 ntpdate时间不同步问题

server 与agent之间心跳连接超时 默认是5次心跳 包ntpdate时间不同步问题

2. cdh安装部署

2.1 系统环境准备

2.1.1 准备相应数量的服务器，并设置网络配置
1、配置好网络ip地址以及hostname vi /etc/sysconfig/network
2、修改主机名称 vi /etc/hosts
3、关闭防火墙 （可选） service iptables status（stop）｜chkconfig iptable off
2.1.2 服务器之间ssh免密登陆
1、在不同节点上生成相应的私钥公钥 ： ssh-keygen -t rsa
2、将生成的分发公钥： ssh-copy-id node1 ->ssh-copy-id node2 ->ssh-copy-id node3
3、验证方式如下：
分别在不同节点上 ssh hostname1 、ssh hostname2 、ssh hostname3
2.1.3 准备集群同步脚本

mkdir bin

cd bin/

vi xsync 在文件中编辑以下内容：

chmod 777 xsync

#!/bin/bash 
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=103; host<105; host++)); do
        echo ------------------- hadoop$host --------------
        rsync -av $pdir/$fname $user@hadoop$host:$pdir
done
2.1.4 安装JDK并且配置环境变量
mkdir -p /opt/module
mkdir -p /opt/software

# 解压安装到module目录
tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
# 修改文件所有者、持有者为root
chown root:root jdk1.8.0_144 /-R

vi /etc/profile
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk...
export PATH=$PATH:$JAVA_HOME/bin
# export CLASS_PATH=xxxxx

# 必须source一下 不然环境变量不生效
xsync /opt/module/jdkxx
cat /etc/profile >> ~/.bashrc
source /etc/profile
 
# 验证环境变量是否生效
java -version
2.1.5 集群整体操作

vi all.sh

chmod 777 all.sh

#!/bin/bash
for i in host1 host2 host3
do
        echo --------- $i ----------
        ssh $i "$*"
done

# 验证方式
all.sh jps
2.1.6 安装Server的database-MySQL
# 查看是否默认安装了mysql
rpm -qa｜grep mysql...	

#如果安装了就卸载mysql
rpm -e --nodeps mysql....rpm 
-----------------------------------------
# 首先安装server
rpm -ivh  mysql.server.rpm
# server 安装完之后，会生成一个随机的PASSWORD
cat /root/.mysql_secret 
-> xxxxxxxx
# 安装client 并登陆
rpm -ivh mysql..client.rpm 
mysql -uroot -pxxxxxxxx
>> SET PASSWORD = PASSWORD('000000')
>> exit

# 然后修改mysql的表结构(user表)
mysql -uroot -p000000
desc user;
select Host,User,Password from user;
update user set host='%' where host='localhost';
mysql>
delete from user where Host='host1';
delete from user where Host='127.0.0.1';
delete from user where Host='::1';

# 这个是必须刷新的
flush previleges;

# 现在就可以在mysql中创建相应组件所用到的元数据库了
# 1.集群监控数据库
mysql> create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
# 2.Hive数据库 
mysql> create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
# 3.Oozie数据库
mysql> create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
# 4.Hue数据库
mysql> create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
2.1.7 关闭SELINUX
# 临时关闭
setenforce 0
# 永久关闭（推荐）
vim /etc/selinux/config
SELINUX=disable

# 分发配置
xsync /etc/selinux/config

# 重启
reboot
2.1.8 下载第三方依赖
# 依次在3台节点上执行
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

2.2 cloudera manager的安装

2.2.1 CM的下载地址

CM下载地址：http://archive.cloudera.com/cm5/cm/5/

离线库下载地址：http://archive.cloudera.com/cdh5/parcels

2.2.2 CM正式安装
mkdir -p /opt/module/cm
# 解压并安装到指定目录
tar -zxvf cloudera-manager-el6-cm5.12.1_x86_64.tar.gz -C /opt/module/cm

# 分别在host1、host2、host3.....创建用户cloudera-scm
useradd \
--system \
--home=/opt/module/cm/cm-5.12.1/run/cloudera-scm-server \
--no-create-home
--shell=/bin/false
--comment "Cloudera SCM User" cloudera-scm

# 参数说明：
--system 创建一个系统账户
--home 指定用户登入时的主目录，替换系统默认值/home/<用户名>
--no-create-home 不要创建用户的主目录
--shell 用户的登录 shell 名
--comment 用户的描述信息
#### 注意：Cloudera Manager默认去找用户cloudera-scm，创建完该用户后，将自动使用此用户
2.2.3 CM Agent、Server配置
# 修改初始化文件 
vi /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.init
server_host = ?
server_port = (7182 默认通新端口)

# 配置CM的数据库
mkdir -p /usr/share/java
tar -zxvf mysql-connector-java-5.1.27.tar.gz 
cp opt/software/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar   /usr/share/java/

# 修改连接包的名字
mv mysql-connector-java-5.1.27-bin.jar   mysql-connector-java.jar
2.2.4 用CM自带的脚本在MySQL中创建相应的库
/opt/module/cm/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hhadoop102 -uroot -p000000 --scm-host hadoop102 scm scm scm

# 参数说明
-h：Database host
-u：Database username
-p：Database Password
--scm-host：SCM server's hostname
2.2.5 分发CM的目录到其他节点
[root@ host1]>> xsync /opt/module/cm
2.2.6 创建Parcel目录
# 创建Parcel目录
Server节点
	- mkdir -p /opt/cloudera/parcel-repo
	#	修改目录的所有者、使用者为cloudera-scm
	- chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
Agent节点
	- mkdir -p /opt/cloudera/parcels
	- chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
	
# 拷贝下载文件manifest.json 、
# CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 、
# CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel到主节点serverhost[host1]的 /opt/cloudera/parcel-repo/目录：
[root@host1 parcel-repo]  ls
CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel  
CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1  
manifest.json
# 修改名称
mv CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha
=> 制作CDH本地源
	- 下载好文件CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel以及mainfest.json，将这2个节点放在
		server节点的指定目录下：/opt/cloudera/parcel-repo下
	- 打开mainfest.json文件，里面是json格式的配置，找到与下版本对应的hash码， 新建文件，文件名
		与你的parcel包名一致，并加上.sha后缀，将hash码复制到文件中保存

# 分别在host1、host2、host3上创建agent的/opt/cloudera/parcels 
[root@hadoop102 module] mkdir -p /opt/cloudera/parcels 
[root@hadoop103 module] mkdir -p /opt/cloudera/parcels 
[root@hadoop104 module] mkdir -p /opt/cloudera/parcels 
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-paecels


# 最后分发 cloudera目录到其他节点
xsync /opt/cloudera

3. 启动Cloudera Manager

注意：启动过程非常慢，Manager启动成功需要等待5分钟左右，过程中会在数据库中创建对应的表需要耗费一些时间.

# 启动server
/opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-server start｜stop
Starting cloudera-scm-server.........  

# 启动agent
[root@host1 cm] /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent start｜stop

[root@host2 cm] /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent start｜stop

[root@host3 cm] /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent start｜stop

# 检验是否安装成功
netstat -anp ｜ grep 7180
访问 http://hadoop102:7180
账号： admin 密码：admin

4. CM集群的部署

4.1 同意协议和条款

4.2 选择免费

1. 选择Cloudera Express 免费版本、选择继续

4.3 指定主机

1. 选择当前管理的主机
2. 宣布勾选✅
3. 选择CDH的版本 5.12.1.p0.3  点击继续
4. 等待下载、分配、解压、激活
稳哥的哥
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RedHat 7.1 x64环境通过rpm包离线部署CDH5.12.1
12-19
在RedHat 7.1 x64环境下通过rpm包及本地yum源离线部署CDH5.12.1
CDH搭建中关于parcel的问题【已解决】
福贵儿的博客
10-26 6261
1.问题描述 如果在搭建CDH的过程中，出现“对于此 Cloudera Manager 版本 (5.15.0) 太新的 CDH 版本不会显示”，那么应该就是parcel出现了问题,之前后缀名是改过的了，不知道为什么又变回来了，如 2.解决方案 简单方法： 将sha1 改成 sha，然后重启server，agent 终极方法：将parcel-repo文件下面的文...
2024年最全parcel-bundler安装 - 前端构建工具(1)，“金三银四”春招指南
最新发布
2401_84447328的博客
05-07 315
开源分享：【大厂前端面试题解析+核心总结学习笔记+真实项目实战+最新讲解视频】如果有如下提示：brew只是浅拷贝，为更新，建议执行如下代码，并且这个命令行可能需要耗费一些时间。那么直接根据要求执行命令，等几分钟就好了。如还有其他问题，自行度娘…
kafka教程1（cdh 5.12 安装 kafka）
lief2liu
05-30 1491
在线下载激活 进入安装包管理，找到kafka,点击下载，下载好后点击分配，然后点击激活 激活后如下 离线下载激活 cd /opt/cloudera/csd wget http://archive.cloudera.com/csds/kafka/KAFKA-1.2.0.jar cd /opt/cloudera/parcel-repo wget http://archive.clou...
cdh 6.x、cdh 5.16.x、cdh 5.15.x、cdh 5.14.x、cdh 5.12.x组件对应版本
weixin_42286868的博客
03-12 4037
cdh 版本对应组件版本 点击跳转到相应版本 CDH 6.2.1 CDH 6.2.0 CDH 5.16.2 CDH 5.16.1 CDH 5.15.2 CDH 5.15.1 CDH 5.15.0 CDH 5.14.4 CDH 5.14.2 CDH 5.14.0 回到目录???? CDH 6.2.1 Packaging 组件 版本 Version 备注 Apache Avro 1.8....
CDH Parcel包starrocks集成cloudera Manager
这个人很懒。
11-10 2717
CDH starrocks 集成cloudera Manager
CDH安装：tar包+parcel, 自动化脚本
eyeofeagle的博客
08-06 1516
基本组织架构 角色 启动的服务 使用的脚本 cm-server cloudera-scm-server, cloudera-scm-agent server.sh cm-agent cloudera-scm-agent agent.sh 脚本安装： 所用到的文件及目录 ├── agent.sh ├── server.sh ├── cdh │ ├── CDH-5.12.0...
clouder-cdh-6.2.1 离线安装包
02-09
│ ├── CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel │ ├── CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha1 │ └── manifest.json └── cm6 └── 6.2.1 ├── allkeys.asc └── redhat7 ...
CDH-5.XX 离线安装及升级步骤及安装过程常见错误.txt
06-14
CDH-5.XX 离线安装及升级步骤以及常见错误
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
05-21
因为CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel命令生成的CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1文件hash不匹配，自己找到官网上的parcel.sha1文件解决了这个问题，共享给大家
CDH和datax-web离线安装文档.docx
07-25
CDH6.2.0、datax-web2.1.2 离线安装文档，从本地yum源配置到数据库安装以及cdh和datax-web的安装，亲测非常详细
CDH5.13.0-Parcel.el6.part1.rar
02-22
CDH Parcel5.13.0 el6版本，第一部分，用于CDH大数据环境搭建
CDH_Hadoop5.13.3集群离线部署（三台主机）
10-10
前言：想学习大数据开发，搭建大数据CDH_Hadoop集群是免不了的工作，这一步至关重要。而搭建CDH_Hadoop不是一件容易的事情，步骤很多，配置繁琐，这也是大数据门槛高的一个体现，很多新手都卡在这一关。经过实践和...
CDH Parcel包制作流程详解
weixin_40670099的博客
12-28 5251
CDH Parcel包制作流程详解 背景介绍 CDH可以很方便的添加一些大数据相关服务，但这仅限于cloudera公司提供。若想将第三方服务（如公司自己开发的组件）添加到CDH集群（托管在CDH上），需要按照一定的规则流程制作相关程序包，最后发布到CDH上。 本文以开源项目dolphinscheduler的master服务打包成parcel包部署为例，详解cdh parcel包的制作详细流程。 相关规则介绍 一个完整的集成到CDH的parcel包应包含如下几个包： ●parcel：以“...
自定义CDH parcel
eyeofeagle的博客
06-02 1497
文章目录1, 概念介绍： cloudera-manager, parcel,csd2, 自定义parcel: 把jar包封装为parcela, 生成parcelb, 生成csd jar包c, 部署服务到cloudera-manager 1, 概念介绍： cloudera-manager, parcel,csd 名称 含义 parcel 普通tarball + metadata ( xx_env.sh ，parcel.json, alternatives.json ) csd
cdh升级zookeeper3.6.3集成parcels包cloudera Manager
这个人很懒。
02-16 1008
cdh升级zookeeper3.6.3以及集成parcels包
CDH通过parcels安装组件，激活时卡住，取消激活
ZLin的博客
12-27 2223
取消激活命令： curl -u admin:admin -X POST http://xxxx.xxx.xx.xx:7180/api/v19/clusters/cluster/parcels/products/APACHE_PHOENIX/versions/4.14.0-cdh5.14.2.p0.3/commands/deactivate admin:admin——CDH用户名和密码 http://xxxx.xxx.xx.xx:7180——CDH UI地址 APACHE_PHOENIX——正在...
CDH离线安装Parcel包（以TD为例）
wangqiang2280的博客
10-30 987
1.安装环境准备 1.1上传安装包服务器 cd /opt/cloudera/parcel-repo/ 上传TDENGINE-2.1.2-el7.parcel和TDENGINE-2.1.2-el7.parcel.sha1包到当前目录： 将TDENGINE-2.1.2-el7.parcel.sha1重命名为TDENGINE-2.1.2-el7.parcel.sha 1.2修改manifest.json文件 添加以下内容： 1.3上传TDENGINE-2.1.2.jar文件到服务器 cd /opt/cloud
Hadoop平台 以Parcel包安装CDH
m0_67401417的博客
09-02 449
请参考地址：http://note.youdao.com/noteshare?id=538ef19d27a67050d041363486d01ae1
flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-13.6
02-05
flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-13.6 是一个 Apache Flink 的库，用于在 Flink 软件框架中使用 Hadoop 的功能。这个库被设计成 Uber JAR，意味着它包含了所有依赖的库和代码，使得其可以独立的执行，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值