![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
姥爷家的小胡同
专注于数据分析
展开
-
MapReduce之Shuffle过程详解
Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。map端shuffle: 1、map读取数据 ,读取数据之前是split(文件逻辑上的切分)2、Partition:map的结果由哪个reduce来接收,设置reduce的个数默认操作是:对key hash后再以reduce task数量取模,返回值决定着该键值对应该由原创 2017-02-26 16:54:28 · 802 阅读 · 0 评论 -
重启yarn服务报错no ResourceManager to stop
有时候我们修改了yarn-site.xml文件中的配置,需要重启ResourceManager服务和NodeManager服务在使用 yarn-deamon.sh 命令时, 你可能会遇到这样的报错:no ResourceManager to stop....等等我们来看yarn-deamon.sh文件中报错的地方,为什么会报错no ResourceManager t原创 2017-07-11 10:36:25 · 2993 阅读 · 0 评论 -
HDFS上传文件之WARN hdfs.DFSClient: Caught exception java.lang.InterruptedException
HDFS上传文件时,可能会出现这样的警告:17/06/29 18:12:59 WARN hdfs.DFSClient: Caught exception java.lang.InterruptedExceptionat java.lang.Object.wait(Native Method)at java.lang.Thread.join(Thread.java:1245)at原创 2017-07-11 10:29:47 · 11011 阅读 · 0 评论 -
Azkaban Executor 设置任务并行度
近期需求,想对Azkaban当前运行的最大flow数有所控制。flow中可以包含多个job。(默认读者熟悉azkaban)查到官网配置文件: https://azkaban.github.io/azkaban/docs/latest/#azkaban-execserver在Azkaban executor的conf/azkaban.properties中配置:**executor.f...原创 2018-07-27 15:32:34 · 5924 阅读 · 0 评论