yarn
lm709409753
天道酬勤
展开
-
配置yarn调度器后,自动刷新集群队列
前期配置的容器调度策略,配置之后,然后重启了应用环境,(感觉好蠢),今天在阅读文档的时候,发现可以使用 yarn rmadmin -refreshQueues 命令。原创 2017-07-31 15:37:03 · 1341 阅读 · 0 评论 -
YARN 任务日志存储到HDFS中
场景:公司使用YARN运行非MR、SPARK的任务,任务是一个长期的任务,在测试阶段,任务可能会挂掉,任务产生的日志对于问题的分析是必不可少的。为了保留任务容器产生的日志,在YARN中要配置相应的参数,开启日志聚合等操作。 配置文件如下 yarn-site.xml。我下面只写出日志相关的配置内容<property> <name>yarn.log-...原创 2018-05-04 14:59:15 · 3061 阅读 · 0 评论 -
YARN Resourcemanager引入挖矿病毒的经历
原因由于同事为了测试方便,把YARN RM的8088对外网开放了,导致攻击者可以通过RM 的rest api直接可以提交应用。解决参考博客https://labitacoranet.wordpress.com/2018/05/16/forensic-analysis-of-a-cryptocurrency-mining-attack-in-a-big-data-cluster/我解...原创 2018-06-01 17:24:49 · 3348 阅读 · 1 评论