HDFS集群重启（不含HBase，允许业务中断）

最新推荐文章于 2024-03-06 19:28:00 发布
最新推荐文章于 2024-03-06 19:28:00 发布
阅读量1.4k 收藏
点赞数
分类专栏： hadoop hdfs 日常操作
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mnasd/article/details/81028793
版权
Step1：关闭无状态的服务，比如Yarn；
Step2：逐个重启DN实例；
Step3：逐个重启JournalNode实例；
Step4：观察DN、JournalNode和NN服务都正常的情况下，进行下一步（主要是NN的状态）；
Step5：关闭两个NN实例；
Step6：重启NN的Active实例（JournalNode必须全部启动）；
Step7：观察启动进行（根据数据量大小时间长度不一，大概需要30分钟）
Step8：等NN Active实例启动OK后，启动NN Backup实例；
Step9：启动Yarn等无状态服务；
mnasd
关注
专栏目录
大数据篇 | Hadoop、HDFS、HIVE、HBase、Spark之间的联系与区别
weixin_43646592的博客
05-31 5096
大数据篇 | Hadoop、HDFS、HIVE、HBase、Spark之间的联系与区别
HDFS 重启步骤
bigdata
06-06 2758
当配置文件有变更时，需要重新启动服务。 如果只是NN参数有变化，DN是不需要重新启动的。 1.把HDFS设置成safe mode 2.关闭DN进程 3.停止并重启NN进程 4.启动DN进程 ...
Hdfs结点格式化后重启集群
cauwt的博客
10-16 395
在hdfs结点格式化后，集群的ID分发生变化。 此时有两个解决方案： 一、彻底重启集群 1. 停止整个集群 2. 删除出现问题的datanode上的dfs.namenode.data.dirdfs.namenode.data.dir/tmp/hadoop−">, 此变量是在$HADOOP_CONF_DIR/下的hdfs-site.xml里定义的。 3. 重新格式化namenode,
hbase mysql hdfs_没用过 HBASE 数据库？看完你就是老手了
weixin_26891599的博客
01-27 286
一、Hbase简介1、什么是HbaseHbase是一个高可靠性(存储在hdfs上，有副本机制)，高性能，面向列，非关系型的数据库(类似redis)，可伸缩的分布式存储系统(因为是存储在hdfs上)，hbase的目标是存储并处理大型的数据，仅需使用普通的硬件，就能够处理由成千上万行和列所组成的大型数据。Hbase是基于hdfs构建的分布式存储框架，但是Hbase在hdfs上实现随机的读写改，解决了h...
HDFS 启动顺序
geekLinyi‘s Blog
09-29 1067
HDFS 启动顺序 Loading fsimage：加载镜像文件 首次开启集群时，加载镜像文件：{hadoop.tmp.dir}/dfs/name/fsimage_0000000000000000000 再次开启集群时，Loading fsimage /home/hadoop/tmp/dfs/name/current/fsimage_0000000000000000002 Loading ...
Linux重启Hadoop集群命令
embelfe_segge的博客
04-06 2413
命令: sh $HADOOP_HOME/sbin/start-all.sh 注意 重启hadoop，此时hadoop的相关进程正常启动 , 启动NameNode ,DataNode NodeManager 都会启动 启动完了建议自己自行查看一下,是否有的进程需要,如果不需要看看自己手动杀死 ...
HDFS集群启动过程详解
Amber_amber的专栏
07-29 5681
HDFS的启动过程和关闭过程都经过脚本进行了封装，只需要执行start-all.sh和stop-all.sh就可以。操作较简单。下面针对启动阶段的原理和详细过程进行说明，对关闭过程目前还没有调研，所以暂缺。 HDFS的启动分三步骤： l  第一步，启动namenode；l  第二步，启动datanode；l  第三步，启动Secondary namenode。 下面一一描述。
详解Hadoop核心架构HDFS+MapReduce+Hbase+Hive
03-03
通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop...HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个Nam
HDFS 通过mapreduce 进行 HBase 导入导出
08-07
标题 "HDFS 通过 mapreduce 进行 HBase 导入导出" 涉及的是大数据处理领域中的两个重要组件——Hadoop Distributed File System (HDFS) 和 HBase，以及它们之间的数据交互。HDFS 是 Hadoop 的分布式文件系统，而 ...
java操作Hbase之从Hbase中读取数据写入hdfs中源码
01-17
在Java编程环境中，操作HBase并将其数据写入HDFS（Hadoop Distributed File System）是一项常见的任务，特别是在大数据处理和分析的场景下。本篇将详细介绍如何使用Java API实现这一功能，以及涉及到的关键技术和...
Ambari 集群重启后，HDFS 报告警 NameNode Last Checkpoint
Lbg_007的博客
03-22 654
现象： Ambari 集群重启后，HDFS 报告警 NameNode Last Checkpoint 解决： 在其中一台服务器依次执行下边三条命令（HDFS用户） hdfs dfsadmin -safemode enter hdfs dfsadmin -saveNamespace hdfs dfsadmin -safemode leave
Ambari启用HDFS HA失败回滚
CarbonDioxide12138的博客
01-06 331
Ambari 启用HDFS HA失败回滚
重启 HDFS 分析
记录点点滴滴
05-26 1358
重启 HDFS 分析 DataNode 注册汇报 重启优化 重启时优化全局读写锁 重启时避免 CheckPoint 优化全局计算和验证 Quota 值 优化 BlockReport 处理逻辑 防止备节点无工作 减低 BlockReport 数 深度分析 总结 NameNode 管理元数据 BlocksMap，描述数据块 Block 与 DataNode 节点之间的对应关系
nginx mysql gitlab重启方式
勇往直前
03-06 801
nginx重启 nginx -s reload nginx nginx -s stop mariadb版mysql systemctlstartmariadb.service//启动服务 systemctlenablemariadb.service//开机启动服务 gitLab启动 sudo gitlab-ctl start s...
HDFS重启集群导致数据损坏，使用fsck命令修复过程
weixin_33940102的博客
05-25 1182
　　　　　　　　　　　　HDFS重启集群导致数据损坏，使用fsck命令修复过程 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 　　我们先看一组输出 [root@flume112 ~]# hdfs fsck /user/kuaikan/report_new/2019/0...
HDFS NameNode重启优化
Dreamershi的专栏
08-10 1097
NameNode重启甚至全集群重启在整个Hadoop集群的生命周期内是比较频繁的运维操作，优化重启时间可以极大提升运维效率，避免可能存在的风险。本文通过分析NameNode启动流程，并结合实践过程简单罗列了几个供参考的有效优化点，借此希望能给实践过程提供可优化的方向和思路。...
常见HDFS服务级异常及处理方法
jiweiqiao的博客
03-17 1689
集群节点断电后恢复或者磁盘满扩容后，NameNode启动失败。
HDFS集群的常见命令（一）
最新发布
fly66666666的博客
03-06 2594
1.一键启停# 一键启动hdfs集群# 一键关闭hdfs集群2.单进程启停此脚本可以单独控制所在机器的进程的启停 用法：此程序也可以用以单独控制所在机器的进程的启停 用法：1.2.
Hadoop集群的启动
weixin_44943389的博客
09-30 7237
在首次启动Hadoop之前还需要进行一些配置工作我们是在Linux集群上安装Hadoop集群。
HDFS、Hive、HBase集群全面迁移指南
1. HDFS整体迁移：由于Hive和HBase的数据存储在HDFS上，迁移首先需要对HDFS集群中的所有数据进行迁移。确保源集群与目标集群之间的数据一致性至关重要。 2. Hive元数据迁移：迁移Hive元数据是为了保持Hive表结构在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值