![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
Viking_bird
欢迎关注:大鹏的架构之路。每天进步一点点,专注Java与大数据技术分享。
展开
-
Hadoop NameNode、DataNode热迁移方案
面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> 最近我们生产环境的Hadoop集群需要调整几台服务器,具体转换关系如下:datanode92.bi -> namenode02.binamenode01.bi(old) -> datanode19.binamenode02.bi -> datanode20.bi最终目标为:...原创 2019-03-12 21:15:00 · 1488 阅读 · 0 评论 -
ZooKeeper节点数据量限制引起的Hadoop YARN ResourceManager崩溃原因分析
面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> 环境Hadoop版本:Apache Hadoop 2.6.3 ZooKeeper版本:ZooKeeper 3.4.10 两个ResourceManager节点:主节点RM01,从节点RM02背景最近有一次我们的Hadoop监控平台发出ResourceManager(以下简称RM)崩溃的报警信息,...原创 2019-03-18 09:37:00 · 2298 阅读 · 0 评论 -
Hadoop技术资料汇总(不断更新中)
面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> 这些资料都是我在工作中学习、解决问题的资料汇总,我不能保证这里罗列的所有资料对看到的人有用,但大部分都经过我的实际验证。在不断学习和实践过程中,我会不断更新和总结这些资料,同时欢迎大家留言交流。感谢这些资料的作者。一、HDFS1、集群安装:Hadoop 2.6.0 HA高可用集群配置详解2...原创 2019-05-07 21:26:00 · 220 阅读 · 0 评论 -
ZooKeeper节点数据量限制引起的Hadoop YARN ResourceManager崩溃原因分析(二)
时隔五个月(点击阅读前文),如标题所示的问题再次发生,本次由于我们大数据监控系统的完善,让我对该问题进行了更深一步的研究。以下是整个排查过程和解决方案:一、问题说明从8月8日早上8点12收到第一条ResourceManager服务异常报警,截止到8月11日早上8点,每天早上8点到8点12之间频繁发生ResourceManager服务异常问题,晚上8点和下午1-3点偶尔出现该问题。以下是Spac...原创 2019-08-12 20:02:17 · 1541 阅读 · 0 评论 -
YARN任务监控界面Aggregate Resource Allocation指标解析
在YARN的原生任务监控界面中,我们经常能看到Aggregate Resource Allocation这个指标(图中高亮选中部分),这个指标表示的是任务每秒消耗的内存和CPU数量:Aggregate Resource Allocation是在org.apache.hadoop.yarn.server.resourcemanager.scheduler.SchedulerApplication...原创 2019-08-31 11:38:05 · 6462 阅读 · 0 评论 -
优化ORC和Parquet文件,提升大SQL读取性能
本文编译自IBM开发者社区,主要描述了HDFS中小的ORC和Parquet文件的问题,以及这些小文件如何影响Big SQL的读取性能,并探索了为了提高读取性能,使用现有工具将小文件压缩为大文件的可能解决方案。简介众所周知,多个Hadoop小文件(定义为明显小于HDFS块大小的文件,默认情况下为64MB)是Hadoop分布式文件系统(HDFS)中的一个大问题。HDFS旨在存储大量数据,理想情况下...翻译 2019-10-07 15:43:19 · 1417 阅读 · 0 评论