hadoop升级

最新推荐文章于 2019-03-28 14:15:23 发布
最新推荐文章于 2019-03-28 14:15:23 发布
阅读量2k 收藏
点赞数
分类专栏： hadoop 开发心得
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/joomlaer/article/details/8707601
版权

首先停机，更新namenode,datanode上hadoop，然后

namenode节点上进行:

 

915  hadoop namenode -upgrade
  916  hadoop namenode -rollback
  917  hadoop namenode -upgrade
  918  hadoop dfsadmin  -finalizeUpgrade
  919  hadoop namenode -upgrade

  914  hadoop dfsadmin -upgradeProgress status

datanode上进行:

 396  hadoop datanode -upgrade
  397  hadoop datanode -rollback
  398  hadoop datanode -upgrade
  399  hadoop DataNode -upgrade
  400  hadoop datanode -upgrade
  401  tail -f /opt/modules/hadoop/logs/hadoop-root-datanode-data-test-209.log
  402  hadoop datanode -upgrade
  403  hadoop datanode -rollback
  404  hadoop datanode -finalized

 

黑肚皮的窝
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop的升级和回滚
06-09
要升级了、要回滚了、升级和回滚、Hadoop如何升级和回滚
【4】Hadoop HDFS 版本升级
摩西莫西
11-13 253
1：运行dfsadmin -upgradeProgress status 检查是否存在备份 如果是第一次升级 就不存在备份2：备份dfs.namenode.dir下文件3：停止所有节点 bin/stop-all.sh4：在所有节点上重新部署hadoop 并替换conf文件夹下所有文件（就是将原有的hadoop-0.19.1更名为hadoop-0.19.1-oldverstion,然后解压hadoo...
Hadoop--组件了解
细心程度决定你的成败
05-26 821
准备接触大数据体系，所以我优先去了解一下Hadoop这个大生态环境，并且去了解这个生态的整体组件内容，都有什么。Apache Hadoop官网，了解到Hadoop是一个开源软件作为可靠，可升级的分布式计算。要了解Hadoop我觉得先去了解其中的组件，了解其对应的组件都有什么，这样方便你有一个大范围的了解，并可以更好的深入了解其中各个内容，并串联起来。 模块名 H...
Hadoop手动升级HA配置手册
数据科学汇集
01-11 2725
Hadoop手动升级HA配置手册 1 Hadoop组件升级 本文是Apache hadoop、Hbase升级至CDH版hadoop、Hbase,同时涵盖了Hadoop HA的配置的操作手册.. 2 Hadoop升级 2.1 Hadoop升级准备 2.1.1 环境说明 Hadoop原始版本、升级版本分别为:Apache Hadoop 1.2.1,hadoop2.5.0-CDH5.3.3
Hadoop简介及组件详解
向及了爱情
03-28 1121
**Hadoop:**是一个由Apache基金会所开发的分布式系统基础架构。用户可以不需要了解底层情况，进行离线分析 运算和存储（集群为前提）。 历史背景：请点击 发展史： Lucene是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎。最初是由Doug Cutting编写，并于2000年3月在SourceForge上开源并提供下载的。2001年9月份Lucene作为高质量的Java开源软件...
hadoop 升级
bitcarmanlee的博客
03-16 1143
1.停掉HDFS，备份关键数据 2.需要备份的数据主要包括   配置文件：${hadoop_home}/conf目录下的所有配置文件   元数据文件：配置文件hdfs-site.xml中的属性“dfs.name.dir”指定的目录下的文件 3.下载最新稳定版的hadoop 2.4.1版本，并解压到与现有hadoop同级的目录下。   说明:旧版的配置文件备份成功后，就不再需要和旧
hadoop1升级hadoop2步骤
12-05
hadoop1升级到hadoop2具体步骤及方法
cdh升级文档
03-13
最新cdh5.11.2升级 hadoop 最新cdh5.11.2升级 hadoop
hadoop2.8.5编译所需软件
11-25
hadoop2.8.5编译所需软件的压缩包，压缩包内清单为 * hadoop-2.8.5-src.tar.gz * jdk-8u144-linux-x64.tar.gz * apache-maven-3.6.3-bin.tar.gz * apache-ant-1.9.15-bin.tar.gz * protobuf-2.5.0.tar.gz
hadoop-3.3.4 版本（最新版）
12-14
Apache Hadoop （hadoop-3.3.4.tar.gz）项目为可靠、可扩展的分布式计算开发开源软件。官网下载速度非常缓慢，因此将hadoop-3.3.4 版本放在这里，欢迎大家来下载使用！ Hadoop 架构是一个开源的、基于 Java 的编程...
Hadoop 学习笔记.md
06-12
Hadoop 学习笔记.md
sqoop错误解决
热门推荐
joomlaer的专栏
06-25 3万+
./sqoop import --connect jdbc:mysql://localhost:3306/xxxx --username dba --password 123456 --direct --table ehm_hosts --target-dir /data/ehm_hosts -m1 出现错误:   java.net.ConnectExcept
hadoop的datanode异常结束
joomlaer的专栏
11-18 1万+
集群datanode节点挂掉一个。错误如下: 2013-11-18 02:01:13,730 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(192.168.1.190:50010, storageID=DS-155659652-192.168.1.190-50010-138361974046
hbase->phoenix不得不说的故事之一
joomlaer的专栏
06-17 7813
用hbase来接收数据，phoenix进行sql统计，看起来很美好，实际波折很多。 首先建表   CREATE TABLE m_interface_job( data.pk_log VARCHAR , .......... id INTEGER not null primary key ) ; 用hbase插入, 发现   select id,* from
Cloudera manager API的坑
joomlaer的专栏
11-27 6168
使用python的api进行cloudera的api，调用。 像这样。 from cm_api.api_client import ApiResource api = ApiResource(CM_HOST, username=CM_USER, password=CM_PASSWD) api.get_all_clusters() 结果如下： clist = api.get_al
Hive HA使用说明
joomlaer的专栏
09-05 6056
hive让大数据飞了起来，不再需要专人写MR。平常我们都可以用基于thrift的任意语言来调用hive. 不过爱恨各半，hive的thrift不稳定也是出了名的。很容易就出问题，让人无计可施。唯一的办法就是 不断kill,不断restart. 当然，我们可以用haproxy来解决这个问题，关键，haproxy不管hive是否逻辑可用，不能执行逻辑的hive也 “死马当活马”。当然，搞的好的
hadoop的集群copy
joomlaer的专栏
09-05 4200
hadoop不同版本之间的集群复制。 1.基础 使用hadoop distcp 来进行集群间的数据复制。 2.实战 如果两个集群之间版本不一样，应该这样来复制。 hadoop  distcp   hftp://source/source  hdfs://dest:9000/source 为啥是hftp呢，因为不同版本rpc不太一样。 如果一个集群闲置，尽量使用它的MR能力。有一个要注
hadoop SNN故障解决
joomlaer的专栏
10-28 3447
集群上线一阵子了。发现SNN 日志有如下问题: 2013-10-28 16:38:16,280 INFO org.apache.hadoop.hdfs.server.namenode.TransferFsImage: Opening connection to http://0.0.0.0:50070/getimage?getimage=1 2013-10-28 16:38:16,281 ER
hadoop的"mapred.ReduceTask: java.net.ConnectException: Connection timed out"问题解决
joomlaer的专栏
11-08 2970
hadoop MR超时问题解决
虚拟机怎么升级hadoop版本
最新发布
06-07
升级Hadoop版本需要以下步骤： 1.备份当前Hadoop配置和数据 在升级之前，需要备份当前Hadoop的配置文件和数据，以免出现问题后无法恢复。 2.下载新版本的Hadoop 从官方网站下载新版本的Hadoop，并解压到目标目录...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值