自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

上一步保存

醉，独醒的博客

原创 YARN的机架感知功能

最近几天做Hadoop机架感知功能时，在网上可以找到很多关于HDFS机架感知的资料，但是对于YARN机架感知的介绍却很少。这篇文章最主要就是说明机架感知功能对于YARN来说起到的作用，若有理解的偏差请指正。谢谢。注：代码基于3.1.1

2019-02-24 19:11:47 4597 5

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

醉，独醒 CSDN认证博客专家 CSDN认证企业博客

码龄6年

暂无认证

IP 属地：广东省

IP属地以运营商信息为准，境内显示到省（区、市），境外显示到国家（地区）

1: 原创

195万+: 周排名

125万+: 总排名

4600: 访问

: 等级

59: 积分

0: 粉丝

0: 获赞

5: 评论

2: 收藏

私信

关注

分类专栏

YARN相关知识 1篇

最新评论

YARN的机架感知功能
benpaodexiaowoniu 回复醉，独醒: 我的yarn在你文章的1.2处自始至终都是与我实际的相吻合的，仅仅是spark on yarn是错误的。若如你所说，作者仅仅是“把日志打印去掉而已”，那么相必我的spark on yarn在纷发excutor时无法发到其他rack上是其他原因。感谢所答！！！
YARN的机架感知功能
醉，独醒回复 benpaodexiaowoniu: 根据我文章里的1.2，你看下nm的Rack是否和你在shell里面是想对应的，如果是的话，那在yarn测机架已经生效了。看了下你说的解决方案，他就是把日志打印去掉而已
YARN的机架感知功能
benpaodexiaowoniu 回复 benpaodexiaowoniu: 我查到我的spark2.4.0-cdh6.3.0上报错机架问题是因为这是源码bug：https://issues.apache.org/jira/browse/SPARK-28005，而作者在此处讨论解决方案：https://github.com/apache/spark/pull/24935，不知其所云。由于暂时不影响我的spark运行结果，我就先不进行源码编译了。若楼主能解答您是如何让你的shell生效的，将不胜感激！！！
YARN的机架感知功能
醉，独醒回复 benpaodexiaowoniu: 参考1.2看下你设置的机架是否生效了
YARN的机架感知功能
benpaodexiaowoniu: 楼主，我cdh6.3.0上为了使用hadoop3.0的XOR-2-1-1024K纠删码策略需至少三个机架（默认/default，而非/default-rack），现在我五台测试机共三个机架：/default、/rack1、/rack2。而用Spark的yarn-client跑你的程序时，报错：yarn.SparkRackResolver: Got an error when resolving hostNames. Falling back to /default-rack for all。另外，我发现在cdh安装目录中[code=python] cat /etc/hadoop/conf.cloudera.yarn/topology.py cat /etc/hadoop/conf.cloudera.yarn/topology.map [/code] 此python文件是已经达到你上述shell脚本topology-rack.sh的功能。请问为什么我使用https://blog.csdn.net/sinat_35045195/article/details/101368238#comments中的Spark代码为什么就一直报/default-rack机架错误问题。