集群
文章平均质量分 52
向阳飞行
还在学习的路上
展开
-
oozie集群阻塞
环境:CDH5.14.0,oozie,hvie,yarn,hdfs都是默认版本。 背景:生产中使用oozie调度多个任务流,其中包括hive脚本,MapReduce程序,python脚本。 现象:集群中多个oozie launcher的MR占用大量资源,真正跑数据的任务在hung on等待状态,导致集群阻塞。 问题分析: 使用oozie调度时启动数据任务前会启动对应的oozie launc...原创 2018-11-21 10:52:51 · 1451 阅读 · 0 评论 -
hue端查看任务日志报错
环境:CDH5.14.0,HIVE,YARN,HDFS都是cdh默认的版本 背景:配置资源池的时候将resource manager的权限从 * 改为指定用户和group 现象:在hue中执行workflow后看不到日志 报错: User [dr.who] is not authorized to view the logs for attempt_1542114179367_1068_...原创 2018-11-21 11:17:34 · 3551 阅读 · 0 评论 -
Tez替换MR作为hive的计算引擎
由于MR执行效率问题使用Tez替换MR,记录遇到的问题及解决方案原创 2018-12-25 20:31:46 · 5154 阅读 · 1 评论