hadoop
聆听金生
人生得意须尽欢,莫使空杯对笑谈!
展开
-
Yarn通信的五大协议
原创 2019-07-31 20:18:48 · 238 阅读 · 0 评论 -
NMClientAsync实现类的架构
NodeManager在处理Container时的流程。原创 2019-07-31 20:31:17 · 198 阅读 · 0 评论 -
Yarn强制回收资源架构
yarn在回收Container时的架构流程图原创 2019-08-05 14:05:22 · 397 阅读 · 0 评论 -
Spark On yarn 执行流程图
此流程图简要的介绍了Spark On Yarn在执行过程中,相应参数的设置初始化资源的获取分配提交Container运行。其中涉及到Client与RM、AM与RM、AM与NM的通信。原创 2019-08-01 14:25:15 · 917 阅读 · 0 评论 -
AMRMClientAsync架构图
Hadoop3.0以上版本客户端编程库的逻辑架构图。原创 2019-08-01 14:29:42 · 298 阅读 · 0 评论 -
基于ambari的hdfs-site.xml的分析配置参数
keyvalue描述dfs.balance.bandwidthPerSec10485760在用于数据平衡时的一个带宽默认值1048576dfs.block.access.token.enabletrue在访问dataNode数据节点时是否验证权限默认值turedfs.blockreport.initialDelay120第一个块报告的延迟时间默认值0s...原创 2019-08-12 11:29:58 · 1486 阅读 · 1 评论 -
基于ambari的mapred-site.xml的分析
keyvalue描述mapred.child.java.opts-Xmx512MJVM启动的子线程可以使用的最大内存,建议值-XX:-UseGCOverheadLimit -Xms512m -Xmx2048m -verbose:gc -Xloggc:/tmp/@taskid@.gmapred.map.child.java.opts-Xmx512Mmapre...原创 2019-08-12 13:52:04 · 362 阅读 · 0 评论 -
基于ambari的yarn-site.xml的分析与介绍
keyvalue描述hadoop.registry.rm.enabledtrueyarn资源管理器中是否启用了注册表hadoop.registry.zk.quorumnode1:2181,node2:2181,node3:2181用于定义注册表的zookeeper仲裁绑定manage.include.filesfalseyarn.acl.enab...原创 2019-08-12 16:07:14 · 1474 阅读 · 0 评论 -
ambari集群中hadoop-env.sh的配置
# 在这里设置特定于hadoop的环境变量. # 惟一需要的环境变量是JAVA_HOME。其他所有选项都是可选的。在运行分布式配置时,最好在这个文件中设置JAVA_HOME,以便正确地在上面定义它远程节点 # 要使用的java实现。要求 export JAVA_HOME=/home/hadoop/software/jdk1.8.0_171 ...原创 2019-08-12 17:27:39 · 1176 阅读 · 0 评论