![](https://img-blog.csdnimg.cn/20210131091013584.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
YARN
文章平均质量分 51
开发简单的YARN应用程序
喜欢coding的谢同学
2020年网易实习
2021年字节跳动校招
小Red书同名,一起努力学习吧~
展开
-
远程调试提交到hadoop的jar包
我们通常可以用hadoop jar来提交自己的jar包hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.2-sources.jar org.apache.hadoop.examples.WordCount /user/root/input /user/root/output在hadoop脚本中加入两行,打印类路径和java命令可以看到hadoop jar本质上是对java命令的封原创 2021-01-31 10:17:31 · 528 阅读 · 0 评论 -
YARN的MRAppMater源码学习记录
先看这个类的入口main方法, public static void main(String args[]) { try { //准备一些参数 Thread.setDefaultUncaughtExceptionHandler(new YarnUncaughtExceptionHandler()); String containerIdStr = System.getenv(org.apache.原创 2021-01-31 10:17:12 · 188 阅读 · 0 评论 -
YARN的DistributedShell源码分析
文章目录准备工作代码剖析Clientinit()run()ApplicationMaster准备工作hadoop官方提供了两个YARN应用程序的示例,这里修改distributedshellhadoop-2.7.6-src\hadoop-yarn-project\hadoop-yarn\hadoop-yarn-applications将这个模块复制一份到自己的工作空间,然后导入idea导入的时候所有选项默认即可,不了解的不建议修改,甚至是项目名也不可随意更改mvn package -Dm原创 2021-01-31 09:13:08 · 303 阅读 · 0 评论 -
YARN执行DistributedShell示例
本文介绍YARN自带的一个非常简单的应用程序实例—distributedshell的使用方法。它可以看做YARN编程中的“hello world”,主要功能是并行执行用户提供的shell命令或者shell脚本。我的集群情况,主要关注1个RM和3个NM用DistributedShell创建一个hello-world文件这里不能用echo输出,应该是运行环境输出定向的问题我自己虚拟机跑的,只有3个NM,内存设置的也比较小$HADOOP_HOME/bin/hadoop jar $HADOOP_.原创 2021-01-31 09:11:50 · 610 阅读 · 0 评论