liyongke89的专栏

.YARN：资源调度平台YARN参数解读与调优yarn-site.xml文件默认参数：http://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-common/yarn-default.xml参数 默认值 说明 yarn.resourcemanager.address ${yarn...

https://blog.csdn.net/bbaiggey/article/details/53574468大数据处理离不开hadoop集群的部署和管理，对于本来硬件资源就不多的创业团队来说，做好资源的共享和隔离是很有必要的，毕竟不像BAT那么豪，那么怎么样能把有限的节点同时分享给多组用户使用而且互不影响呢，我们来研究一下yarn多队列做资源隔离请尊重原创，转载请注明来源网站www.sh...

YARN是什么全称 Yet Another Resource Negotiator，是一套全新的任务调度与资源管理框架，是 Hadoop 2（当前我们使用的Hadoop版本）的关键组件之一。不同于 Hadoop 1，YARN 不仅支持 MapReduce，还支持各种计算引擎，是一个通用的资源管理器。YARN架构及工作机制下面介绍一下 YARN 的架构以及它是如何工作的。架构搬一张...

关于Yarn的详细介绍请参考【Hadoop Yarn详解】一、相关配置情况关于Yarn内存分配与管理，主要涉及到了ResourceManage、ApplicationMatser、NodeManager这几个概念，相关的优化也要紧紧围绕着这几方面来开展。这里还有一个Container的概念，现在可以先把它理解为运行map/reduce task的容器，后面有详细介绍。1.1 RM的内存资...

原文地址:https://blog.csdn.net/mnasd/article/details/82143653检测缺失块1 hdfs fsck -list-corruptfileblocks1 hdfs fsck / | egrep -v '^\.+$' | grep -v eplica查看上面某一个文件的情况1 hdfs fsck /path/to/corrupt/...

https://www.cnblogs.com/mtime2004/p/9996413.htmlHadoop是什么？Hadoop是使用Java编写，允许分布在集群，使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 Hadoop框架应用工程提供跨计算机集群的分布式存储和计算的环境。 Hadoop是专为从单一服务器到上千台机器扩展，每个机器都可以提供本地计算和存储。Had...

https://www.cnblogs.com/qingyunzong/p/8615024.html讨论QQ：1586558083目录概述 MapReduce的Shuffle过程介绍 Spill过程 Sort Spill Merge Copy Merge Sort 正文回到顶部概述1、MapReduce 中，mapper 阶段处理的数据...

如果有看蒙圈的地方，请看下HDFS HA这篇文章官方给出的方案如下配置目标：node1 node2 node3：3台ZooKeepernode1 node2：为2台ResourceManager首先配置node1，配置etc/hadoop/yarn-site.xml：<property> <name>yarn.resourcemanager.h...

https://blog.csdn.net/q361239731/article/details/535596811、首先看看HA的对象是谁？主要解决的是NameNode的HA2、Datanode不需要HA吗？DataNode的HA是NameNode的checksize机制（主动复制）来解决的3、NameNode为什么需要HA？NameNode的2大功能：● 为客户端提供读写...

1 概述HDFS中的NameNode被称为元数据节点DataNode称为数据节点。NameNode维护了文件与数据块的映射表以及数据块与数据节点的映射表，而真正的数据是存储在DataNode上。对于NameNode如何存储这些信息，它维护两个文件，一个是fsimage，一个是editlog。2 fsimage与editlog作用fsimage保存了最新的元数据检查点，在HDFS启...

https://blog.csdn.net/azhao_dn/article/details/7741666 在线上的hadoop集群运维过程中，hadoop 的balance工具通常用于平衡hadoop集群中各datanode中的文件块分布，以避免出现部分datanode磁盘占用率高的问题（这问题也很有可能导致该节点CPU使用率较其他服务器高）。     1） hadoop balanc...