yarn集群匿名用户触发任务

最新推荐文章于 2022-08-10 00:18:39 发布
最新推荐文章于 2022-08-10 00:18:39 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： yarn进群问题 文章标签： yarn Hadoop dr.who
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bigdataprimary/article/details/83040837
版权

在公司的云集群中测试mr任务，总是被kill，报错：application killed by user；

在yarn集群的resourceManager查看任务有多个并不断增加的dr.who提交的任务；

问题追踪得到的是：集群被攻击，通过yarn集群的8088端口进入服务器，拉取脚本并执行(curl)

表现：yarn集群的匿名用户任务杀不干净，服务器有两个可疑进程：curl，sh，一个拉去外部脚本，一个执行

解决：更改8088端口到其他端口；

链接：dr.who用户提交yarn任务

向阳飞行
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark写s3出现task结束而yarn管理UI不终止的情形
u014763678的博客
09-16 760
问题： 最近项目需要使用spark往s3写数据，在编写好代码后通过yarn cluster模式运行spark任务，在UI上监控程序运行情况，发现UI上task都结束后，spark仍然处于running状态，持续了十几分钟后才终止。 起初以为是编写的多线程没有正确shutdown问题，或者是由于s3的check机制导致的。最后发现都不是这两种原因导致的。 导致问题的原因： 导致问题的原因是s3中的文件重命名操作是由复制操作加上删除操作组成的，等等，这跟s3文件重命名有什么关系？？ 哈哈，...
Application application_id failed 2 times due to ApplicationMaster for attempt xx timed out解决办法
berkely心路的博客
05-25 6236
spark-submit 提交任务失败，报错详情： Application application_1609129417468_1602993 failed 2 times due to ApplicationMaster for attempt appattempt_1609129417468_1602993_000002 timed out. Failing the application. 排查为ApplicationMaster 为子任务尝试次数超时，于是尝试添加以下参数： --conf s.
Spark 异常总结及解决办法
欲望以提升热忱 毅力以磨平高山
12-18 6058
前言 总结Spark开发中遇到的异常及解决办法，之前也写过几篇，之所以不再一个异常写一篇博客，是因为现在Spark用的比较熟悉了一些，觉得没必要把异常信息写那么详细了，所以就把异常总结在一篇博客里了，这样既能备忘也方便查找。 1、之前的几篇 spark-submit报错:Exception in thread “main” java.sql.SQLException:No suitable...
日常问题系列——yarn web ui提供kill application功能；登录用户为dr.who，无法查看application运行情况
njuptcyd的博客
05-10 4083
问题一、yarn web ui界面没有办法查看application具体运行情况 Yarn Web UI界面效果如下： 点击一个running 状态的application，会显示如下信息： You (User dr.who) are not authorized to view application application_1557385812521_0002 原因及解决方法 dr.who...
Failed to submit XXXX to YARN : Application XXXXX submitted by user XX to unknown queue: XX
taoist1997的博客
12-21 5329
最近做数仓的项目搭建到hive on spark 的时候，在给Yarn 配置多队列容量调度器，报了如下的错误： 可以看到很明显有是说队列名不存在了，反复检查了几次，配置的文件不会错，包括每个配置项代表什么意思都仔细研究了下。参考yarn队列配置 偶然看到一个命令却很少有人提及: yarn rmadmin -refreshQueues 很多人都是直接重启yarn就好了，但是我重启了很多次都没用直到我用了上面一段代码，对yarn队列刷新，才看到了令人开心的一幕： 所以小伙伴们，配置完之后，记得分发配置文件，
Spark on Yarn集群搭建手册
08-29
Spark on Yan集群搭建的详细过程，减少集群搭建的时间
Spark环境搭建——on yarn集群模式
01-07
本篇博客，Alice为大家带来关于...注意：不需要集群，因为把Spark程序提交给YARN运行本质上是把字节码给YARN集群上的JVM运行，但是得有一个东西帮我去把任务提交上个YARN，所以需要一个单机版的Spark，里面的有spark-sh
一键停止HDFS集群、YARN集群、Hive服务脚本
12-23
一键停止HDFS集群、YARN集群、Hive服务脚本
一键启动HDFS集群、YARN集群、Hive服务脚本
12-23
一键启动HDFS集群、YARN集群、Hive服务脚本
YARN框架概述与集群部署.pdf
最新发布
04-10
- **可维护性**：通过将资源管理和具体的应用程序解耦，YARN使得集群软件升级与用户应用程序之间不再相互影响。 - **多租户**：YARN支持在同一集群中多个租户共存，并能够实现不同租户之间对资源的精细分配。 - *...
操作hive报Application xxx submitted by user hadoop to unknown queue: default
wysghmbb的博客
07-01 3262
今天用beeline去操作hive，简单的语句能执行成功，复杂的就不行了，记录在此望下次不再入坑。 select 语句能出数据 执行select c_13930,c_45365,c_std,c_cv,c_22599,c_opp,c_cs,c_is_outnet from devtest.yangtest001 a;能出数据 create 语句报错 执行create table devtest.t1 as select c_13930,c_45365,c_std,c_cv,c_22599,c_opp,
Hive出现的问题汇总
Aime123456789的博客
08-08 2734
1.出现问题的前提条件：我在Hive中创建一个表然后想向表中插入数据，每次插入数据都会出现如下异常； java.io.IOException: org.apache.hadoop.yarn.exceptions.YarnException: Failed to submit application_1533616024453_0004 to YARN : Application applicat...
Hadoop dr.who问题
Sin_Geek成长の迹
11-14 8518
背景 昨天在生产环境偶然发现，yarn的一些日志访问不了，报如下错误 User [dr.who] is not authorized to view the logs for application；然后发现hdfs管理界面有些文件目录页进不去，登录即右上角为logged in as dr.who。然后到网上查找资料。 原因 Resource Manager UI的默认用户dr.who权限不正确 ...
Hadoop failed 和 killed 原因
wwhhff11
05-21 766
参考链接
YARN批处理方式kill Applications解决方案
走在前往架构师的路上
01-05 1万+
前言在使用hadoop集群的时候,所有的任务都是最终以Application的形式跑在集群中,不管你是自己写的MR程序亦或是你写的hive sql转化成的mr任务,最终都是以Application应用的身份在跑.这些Application跑完之后,这些信息在jobHistory中就可以看了,可以说hadoop在这方面做得真的非常完整.但是完善归完善.但是jobHistory可以说是一种"事后分析"
yarn一直自动生成用户为dr.who的application
weixin_43300503的博客
03-02 3009
之前用三台云服务器搭建完集群后发现任务运行的特别慢 yarn:8088页面后发现有很多奇怪的任务在跑 而且这些任务怎么都完不成还一直在生成，查看各种log日志怎么也没有exception。 后来看了https://www.cnblogs.com/daxiangfei/p/9198856.html 才发现原来是被攻击了。 查看进程发现cup占用异常的高应该是黑客用机器去挖矿了。。。。。 解决方法： ...
Container killed by the ApplicationMaster, Exit code is 143
houzhizhen的专栏
01-26 1万+
之前发现在map任务里面经常看到Container killed by the ApplicationMaster，挺奇怪，不过任务最终是成功的，就没怎么管。不过最近测试集群跑的任务报143错误，还是重新看一下这个问题。 分析版本：hadoop cdh5.4 错误日志 2015-12-30 17:31:09,994 INFO [AsyncDispatcher event handler]
APPLICATION FAILED TO START 异常报错原因及解决方案
热门推荐
weixin_46030002的博客
08-10 2万+
APPLICATION FAILED TO START 异常报错原因及解决方案 （端口号被占用，mybatis，knife4J）持续更新中...
大数据常见错误解决方案（转载）
defang0693的博客
02-24 3116
1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries! 解决方法：add export SPARK_LOCAL_IP="127.0.0.1" to spark-env....
hive能否把任务提交到yarn集群
05-26
是的，Hive可以将任务提交到YARN集群上运行。默认情况下，Hive使用MapReduce作为执行引擎，可以通过设置Hive配置参数来将任务提交到YARN集群上运行。具体步骤如下： 1. 确认Hadoop集群和YARN集群已经正确配置并运行。 2. 在hive-site.xml中设置以下参数： ``` <property> <name>hive.execution.engine</name> <value>tez</value> </property> <property> <name>hive.tez.container.size</name> <value>1024</value> </property> <property> <name>hive.tez.java.opts</name> <value>-Xmx819m</value> </property> <property> <name>hive.tez.log.level</name> <value>INFO</value> </property> <property> <name>hive.server2.tez.initialize.default.sessions</name> <value>true</value> </property> <property> <name>hive.server2.tez.sessions.per.default.queue</name> <value>1</value> </property> <property> <name>hive.server2.tez.default.queues</name> <value>default</value> </property> <property> <name>hive.execution.engine</name> <value>mr</value> </property> <property> <name>hive.exec.submitviachild</name> <value>false</value> </property> <property> <name>mapreduce.jobtracker.address</name> <value>yarn-cluster</value> </property> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>hostname:port</value> </property> ``` 3. 将hive-exec-x.x.x.jar、hive-metastore-x.x.x.jar、hive-common-x.x.x.jar、hive-cli-x.x.x.jar、hive-service-x.x.x.jar和hive-service-rpc-x.x.x.jar添加到Hadoop的share/hadoop/mapreduce/lib目录中。 4. 在Hive中执行任务时，可以使用以下命令将任务提交到YARN集群上运行： ``` set mapreduce.framework.name=yarn; set yarn.resourcemanager.address=<resourcemanager_address>; ``` 其中，<resourcemanager_address>是YARN资源管理器的地址。 这样就可以将Hive任务提交到YARN集群上运行了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值