Cloudera Manager和CDH minor版本 tar包升级方案

最新推荐文章于 2024-07-28 16:45:11 发布
最新推荐文章于 2024-07-28 16:45:11 发布
阅读量350 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据 运维 hadoop cloudera linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_33022765/article/details/114759420
版权

Cloudera Manager和CDH minor版本 tar包升级方案

目录

1 概述

升级分为Cloudera Manager管理工具升级和CDH组件升级。Cloudera Manager管理工具可使用tarball方式升级，CDH组件可使用parcels升级。
CDH和Cloudera Manager不用同时升级，但需保证Cloudera Manager和CDH版本的兼容。Cloudera Manager可以管理当前或以前的major版本的CDH，或相同minor版本的CDH，或较低minor版本的CDH。比如，Cloudear Manager 5.7.1可以管理CDH5.7.2，CDH5.6.1和CDH4.8.6，但是不能管理CDH5.8.1。Cloudera Manager5.x不能管理CDH3.x。
一般需要规划一个足够长的维护窗口(停机时间)进行升级。根据需要升级的组件，集群的节点数，以及不同的硬件情况，需要一天来进行升级。开始升级之前，你需要做好一些前置条件准备以及关键数据备份。
CDH升级一共有三种版本的升级：major大版本，minor 次版本和maintenance维护版本。
升级建议：

  • 针对CDH的Maintenance Version升级，可以使用滚动升级，比如：5.15.x升级到5.15.y，这种版本升级主要修复bug，不改动API，也不涉及新的功能。
  • 针对CDH的Minor Version升级，建议停机升级或者滚动升级(如果跨度不大)，比如5.x.x升级到5.y.y，这种版本升级主要是增加新的功能和新的API。
  • 针对CDH的Major Version升级，建议必须停机升级，而且在升级前需要对已有应用和作业的改造和升级进行完备的测试验证，相应升级时停机时间会较长，这种版本升级一般是Hadoop相关组件的大版本升级，可能会改动API。
    本次升级方案面向minor版本升级。
    minor版本升级是指基于同样的major版本将minor版本进行升级，比如从5.4.x升级到5.8.x，一般有以下特征：
  • 新的功能
  • Bug修复
  • 可能存在的数据库schema更改会在Cloudera Manager升级时自动被处理
    CDH5.16.2修复的问题列表
    在这里插入图片描述

2 升级准备工作

以下是本次测试环境，但不是本操作手册的硬限制：

  • 操作系统：CentOS 7.4
  • 旧CM/CDH版本：CM5.15.2/ CDH5.15.2
  • CM/CDH的目标升级版本：CM5.16.2/ CDH5.16.2
  • 采用root用户进行操作
    升级前置条件：
  • 确保当前系统版本支持要升级到的新版本CDH5和Cloudera Manager5
  • 原Cloudera Manager和CDH的版本为5.15.2
  • Cloudera Manager和CDH的目标升级版本为5.16.2

2.1 停止CM服务以及各个组件服务

在CM控制台页面上停止Hadoop各个组件
在这里插入图片描述
在CM控制台页面上停止ClouderaManager管理组件
在这里插入图片描述
在所有集群服务器上停止cloudera-scm-agent

/opt/cm-5.15.2/etc/init.d/cloudera-scm-agent stop

在cloudera-scm-server节点停止clodera-scm-server

/opt/cm-5.15.2/etc/init.d/cloudera-scm-server stop

2.2 数据库节点上备份Cloudera Manager数据库

mysqldump -u 用户-p 密码 --databases hive> /tmp/20201224/hive.dump
mysqldump -u 用户-p 密码 --databases hue> /tmp/20201224/hue.dump
mysqldump -u 用户-p 密码 --databases oozie> /tmp/20201224/oozie.dump
mysqldump -u 用户-p 密码 --databases scm> /tmp/20201224/scm.dump

在这里插入图片描述

2.3 namenode节点备份元数据

cd /dfs/dfs/nn
tar -cvf /dfs/dfs/nn/node_backup_data.tar /dfs/dfs/nn

3 CM升级

首先升级Cloudera Manager。

3.1 所有节点上传cm安装包

cd /tmp
mkdir cm
cd /tmp/cm
rz
chmod 755 cloudera-manager-centos7-cm5.16.2_x86_64.tar.gz

备注：上传压缩包比较耗时，预计1小时左右

3.2 解压

 tar -xzvf cloudera-manager-centos7-cm5.16.2_x86_64.tar.gz -C /opt/

3.3 所有节点的config.ini指向cloudera-scm-server节点

mv /opt/cm5.16.2/etc/clodera-scm-agent/config.ini /opt/cm5.16.2/etc/clodera-scm-agent/config.ini.bak
cp /opt/cm5.15.2/etc/clodera-scm-agent/config.ini /opt/cm5.16.2/etc/clodera-scm-agent/

3.4 cloudera-scm-server节点配置 db.properties

mv /opt/cm5.16.2/etc/clodera-scm-server/db.properties /opt/cm5.16.2/etc/clodera-scm-server/db.properties.bak
cp /opt/cm5.15.2/etc/clodera-scm-server/db.properties /opt/cm5.16.2/etc/clodera-scm-server/

3.5 所有节点复制 uuid 到新版本的对应目录下

cp /opt/cm5.15.2/lib/cloudera-scm-agent/uuid /opt/cm5.16.2/ lib/cloudera-scm-agent/

3.6 所有节点将MySQL JDBC驱动包放入相应位置

cp /opt/cm-5.15.2/share/cmf/lib/mysql-connector-java*.jar /opt/cm-5.16.2/share/cmf/lib/

3.7 启动新版本的 cloudera-scm-server/agent

/opt/cm-5.16.2/etc/init.d/cloudera-scm-server start
/opt/cm-5.16.2/etc/init.d/cloudera-scm-agent start

PS：可能存在问题：
cloudemanager安装时出现ProtocolError:<ProtocolError for 127.0.0.1/RPC2: 401 Unauthorized>问题
问题排查：
查看日志/var/log/cloudera-scm-agent/，得知rotocolError: <ProtocolError for 127.0.0.1/RPC2: 401 Unauthorized>
解决办法：

ps -ef | grep supervisord
kill -9 <processID>
sudo service cloudera-scm-agent restart

3.8 Cloudera Manager升级验证

3.8.1 查看Cloudera Manager版本

在这里插入图片描述
版本显示为升级后版本

3.8.2 验证 Cloudera Manager心跳机制

在这里插入图片描述
默认情况下，该心跳为15s一次；

3.8.3 检查所有主机

在这里插入图片描述
在这里插入图片描述

3.8.4 集群历史监控数据

在这里插入图片描述

4 CDH升级

升级CDH各组件

4.1 cloudera-scm-server节点上传parcel包

cd /tmp/cm
rz

包含以下parcel包：

  • CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel
  • CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1
  • manifest.json

4.2 cloudera-scm-server节点移动parcel包

mv /tmp/cm/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel /opt/cloudera/parcel-repo
mv /tmp/cm/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1 /opt/cloudera/parcel-repo
mv /tmp/cm/manifest.json /opt/cloudera/parcel-repo
mv /opt/cloudera/parcel-repo/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1 /opt/cloudera/parcel-repo/ CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha

4.3 停止clodera-scm-server

/opt/cm-5.15.2/etc/init.d/cloudera-scm-server stop

4.4 在所有集群服务器上停止cloudera-scm-agent

/opt/cm-5.15.2/etc/init.d/cloudera-scm-agent stop

4.5 在CM控制台页面上升级

页面点击“主机”->“Parcel”找到5.16.2-1.cdh2.16.2.p0.8版本，点击“激活”并“升级”
在这里插入图片描述
在CDH Parcel包下发到各节点安装完后如下目录也需要复制，否则以上检查无法通过。

cp mysql-connector-java*.jar /opt/cloudera/parcels/CDH-5.16.2.p0.8/jars/
cp mysql-connector-java*.jar /opt/cloudera/parcels/CDH-5.16.2.p0.8/lib/hive/lib/
cp mysql-connector-java*.jar /opt/cloudera/parcels/CDH-5.16.2.p0.8/lib/sqoop/
cp mysql-connector-java*.jar /opt/cloudera/parcels/CDH-5.16.2.p0.8/lib/oozie/libtools/
cp mysql-connector-java*.jar /opt/cloudera/parcels/CDH-5.16.2.p0.8/lib/oozie/libserver/

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.6 Flume拦截器添加（项目中如没有使用Flume，跳过）

cd /opt/cloudera/parcels/CDH-5.15.2-1.cdh5.15.2.p0.3/lib/flume-ng/lib/Collection-1.0.jar /opt/cloudera/parcels/CDH-5.16.2.2-1.cdh5.16.2.p0.8/lib/flume-ng/lib/
chmod 755 /opt/cloudera/parcels/CDH-5.16.2.2-1.cdh5.16.2.p0.8/lib/flume-ng/lib/ Collection-1.0.jar

随后重启flume

4.7 功能验证（根据项目实际情况制定验证项）

4.7.1 Hue、Hive以及MR验证

在CM控制台页面登录Hue，测试hive正常查询表数据。
在这里插入图片描述

4.7.2 Spark程序验证
cd /opt/spark-shell/
bash -x spark_start_wallet_static.sh

在yarn上查看spark任务启动是否正常
在这里插入图片描述

4.7.3 Oozie调度验证

查看Oozie调度信息是否正常
在这里插入图片描述
升级成功！

6 参考文献

  • https://cloud.tencent.com/developer/article/1077573
  • https://www.cnblogs.com/tzxxh/p/9123231.html
  • https://blog.csdn.net/supersyd/article/details/52486989
  • https://www.cnblogs.com/zlslch/p/7121275.html
  • https://docs.cloudera.com/documentation/enterprise/release-notes/topics/cdh_rn_fixed_in_516.html
网红猪
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
cloudera大数据平台搭建流程
yu_shao的博客
12-06 3082
  基础环境 软件环境 NO 软件名称 版本 1 操作系统 centos7 64位 2 jdk jdk-8u181-linux-x64.tar.gz 3 cloudera manager cloudera-manager-centos7-cm5.15.1_x86_64.tar.gz 4 cdh CDH-5.15...
手把手教CDH
wnm23的专栏
04-04 720
使用 LXC 的优点就是不需要安装太多的软件包，使用过程也不会占用太多的资源，LXC 是在 Linux 平台上基于容器的虚拟化技术的未来标准，最初的 LXC 技术是由 IBM 研发的，目前已经进入 Linux 内核主线，这意味着 LXC 技术将是目前最有竞争力的轻量级虚拟容器技术。增加的节点功能可以分为边缘节点，计算节点，主节点等，同样功能的节点也会因为服务器配置不同而需要采用不同的配置，例如不同大小的内存，硬盘等。1. Object，实体，常见的例如，server，database，table，URL。
0009-如何升级Cloudera Manager和CDH
Hadoop_SC的博客
11-15 1001
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 1.文档编写目的 本文档讲述如何升级Cloudera Manager和CDH，通过本文档，您将学习到以下知识： 1.如何对Cloudera Manager进行停机升级 2.如何对CDH进行停机升级 3.如何在不影响集群作业的情况下进行CDH滚动升级 文档主要分为以下几步： 1.Cloudera升级概述 2.Minor版本Cloud...
CDH详解（史上最全）
weixin_45424111的博客
06-12 1589
CDH详解，从小白到精通
数据集群Cloudera Manager15.15.2 版本安装服务器Centos6
ly8951677的博客
09-01 825
安装指导文档： https://blog.csdn.net/sinat_33384251/article/details/91404617 https://blog.csdn.net/weixin_36939535/article/details/82914103 https://blog.csdn.net/weixin_36939535/article/details/82914558 ...
CDH6官方文档中文系列(8)----Cloudera升级指南
hanli2020的博客
06-24 2884
Cloudera升级指南 最近在学习cdh6的官方文档，网上也比较难找到中文的文档。 其实官方英文文档的阅读难度其实并不是很高，所以在这里在学习官方文档的过程中，把它翻译成中文，在翻译的过程中加深学习了解，并分享出来和大家一起学习。 中文内容是本人的渣渣英文水平结合有道词典，谷歌翻译的结果，文中部分词语可能翻译的并不准确，希望大家多多提出意见，共同进步。 cdh6的官方中文文档系列长期更新，最后目标整理成gitbook，同大家交流学习。 最后，如果你觉得本文对你有用，希望点个赞给作者一点鼓励哈。 与其感
CDH CM版本 6.0.1 升级到 CM 6.2.0 当前最新版本（CentOS 7.x）
weixin_30670925的博客
07-29 373
CDH 的 6.0.1 是一个尴尬的版本，那时候 cloudera 还没有将 spark 更新到 2.4 还使用的是 spark 2.2版本。 但后来我们发现 2.3 | 2.4 更新了非常多的 feature 和修复了一些 bug 以及更新了很多包括structed streaming 特性。并且最近最新的 6.2.0 将会在不久之后提供 Apachephoenix 的支持。所以我尝试将目前...
Cloudera 从5.2.0升级到最新5.8.2的官方文档翻译
前进的南山
10-19 4008
初始文档整理在pages中，怎么转换过来格式都不太好看，先发图片的吧，格式不太好的文字部分在后面。 ----------------------------------------------我是格式不好的文字的分割线----------------------------------------------------------------------
How to build and setup a Cloudera Distribution Hadoop environment
frost_mourne的博客
06-26 287
How to build and setup a Cloudera Distribution Hadoop environment CDH (Cloudera Distribution Hadoop) is open-source Apache Hadoop distribution provided by Cloudera Inc which is a Palo Alto-based Ameri...
CDH5.x配置spark错误解决
ajhygb9829的博客
07-11 205
通过cloudera manager 5.x添加spark服务，在创建服务过程中，发现spark服务创建失败，可以通过控制台错误输出看到如下日志信息： + perl -pi -e 's#{{CMF_CONF_DIR}}#/etc/spark/conf.cloudera.spark_on_yarn/yarn-conf#g' /opt/cm-5.9.2/run...
Cloudera Manager6.2.1及CDH最新版本安装全程记录
12-22
Cloudera Manager6.2.1
Centos 7 离线安装Cloudera Manager6 和CDH6.3.1.docx
05-19
CentOS 7 离线安装 Cloudera Manager 6 和 CDH 6.3.1 本文将指导您在 CentOS 7 环境中离线安装 Cloudera Manager 6 和 CDH 6.3.1。整个安装过程可以分为多个步骤，包括环境准备、系统配置、Java 环境配置、SSH 无...
分布式系统常见软件架构模式
Ben的专栏
07-25 997
简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。
消息队列-rabbitmq（生产者.消费者. 消息.可靠性）
最新发布
2202_75352238的博客
07-28 567
在我们 生产者发送消息到交换机的时候，假如 我们发送到交换机 ，但是 队列没有收到消息，会返回ack，发送到交换机，然后发送到队列，消费者没有接收到消息返回ack，但是发送到交换机失败，会返回nack。死信交换机 ，都是假如一个定时消息过期了，或者发送延迟消息我们直接把该消息传递到我们绑定的死信交换机中，跟上文 消息发送失败了返回rejct之后，消息发送到err交换机是两种不同的策略。当一条消息发送失败的时候，消费者重新尝试消费消息，达到我们重试的次数之后，消费者返回reject，mq直接删除消息。
Spark RPC框架详解
小昌昌的博客
07-22 1152
SparkContext构造过程的重要一步，就是Driver、ApplicationMaster以及Executor之间的协调和通信过程，这是基于RPC进行的。这里的Spark RPC是基于Netty的通信过程，而Netty的通信其实是基于Reactor架构进行的，Reactor架构其实是基于Java NIO模型进行的。本文详细讲解了基于Netty 的 SparkRPC 框架的实现细节。
Kafka知识总结（选举机制+控制器+幂等性）
月伴飞鱼
07-27 949
其他Broker启动时也会在Zookeeper中创建临时节点，但是发现节点已经存在，所以它们会收到一个异常，意识到控制器已经存在，那么就会在Zookeeper中创建Watch对象，便于它们收到控制器变更的通知。他只能保证单分区上的幂等性，即一个幂等性Producer只能够保证某个topic的一个分区上不出现重复消息，无法实现多分区的幂等。控制器上保存了最全的集群元数据信息，其他所有 Broker 会定期接收控制器发来的元数据更新请求，从而更新其内存中的缓存数据。目前，当有新 Broker 启动后，它会在。
CentOS6.5下离线安装ClouderaManager与CDH4详解
"这篇文章主要介绍了如何在CentOS6.5环境下进行Cloudera Manager和CDH4的终极安装，包括Cloudera Manager的4.8.1版本和CDH的4.5.0版本。安装过程涉及离线安装，适用于不能联网或网络不稳定的情况。" 在安装Cloudera...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值