![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
大壮vip
博学而笃志,切问而近思。
展开
-
hadoop调优。hadoop速度太慢,所以kill任务,修改配置增大内存
hadoop job -list hadoop job -kill job_201212111628_11166 修改yarn.scheduler.maximum-allocation-mb 和 yarn.nodemanager.resource.memory-mb的默认值为2G 然后重启集群 如果资源充足也可以适当放大。 ...原创 2019-06-04 14:10:58 · 1668 阅读 · 0 评论 -
spark与hadoop维护job、application
1.首先来看spark如何查看或者停止任务。 yarnapplication-list查询所有的任务; 然后使用 yarnapplication-kill<appId> 2.hadoop 列出Jobtracer上所有的作业 hadoop job -list 使用hadoop job -kill杀掉指定的jobid hado...原创 2019-06-18 10:17:59 · 399 阅读 · 0 评论 -
CDH集群配置资源队列
1.首先来调整自动创建队列的情况发生,这会让我们失去控制。 设置两个yarn集群参数,禁止自动创建资源队列 yarn.scheduler.fair.user-as-default-queue false 2. yarn.scheduler.fair.allow-undeclared-pools 2.创建动态资源池 创建资源池并且将原有资源池进行更改 创建新增用户...原创 2019-06-26 10:23:37 · 2019 阅读 · 0 评论