Hadoop程序运行一直卡在INFO mapreduce.Job: Running job: job_1578474456005_0034

最新推荐文章于 2024-05-02 21:26:54 发布
最新推荐文章于 2024-05-02 21:26:54 发布
阅读量2k 收藏 11
点赞数 3
文章标签： hadoop mapreduce bug
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38327117/article/details/103943546
版权

以前Hadoop集群运行jar包都没问题的，但是昨天突然出现了这个问题，网上查阅了很多，大部分说是配置的问题（yarn-site.xml、mapred-site.xml配置错误），但是既然我的环境以前能运行程序就应该不是环境的问题，于是查阅了很多终于解决了问题，希望对各位有所帮助：

有太多任务在排队，需要
1 用hadoop job -list查看正在运行的job
2 用hadoop job -kill jobId杀掉job

百味珍果糖
关注
  • 3
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
hadoop_the_definitive_guide_3nd_edition.pdf
08-23
hadoop 权威指南第三版 英文版 Foreword Preface 1. Meet Hadoop Data! Data Storage and Analysis Comparison with Other Systems RDBMS Grid Computing Volunteer Computing A Brief History of Hadoop Apache Hadoop and the Hadoop Ecosystem Hadoop Releases What’s Covered in this Book Compatibility 2. MapReduce A Weather Dataset Data Format Analyzing the Data with Unix Tools Analyzing the Data with Hadoop Map and Reduce Java MapReduce Scaling Out Data Flow Combiner Functions Running a Distributed MapReduce Job Hadoop Streaming Ruby Python import import import import import import org.apache.hadoop.fs.Path; org.apache.hadoop.io.IntWritable; org.apache.hadoop.io.Text; org.apache.hadoop.mapreduce.Job; org.apache.hadoop.mapreduce.lib.input.FileInputFormat; org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class MaxTemperature { public static void main(String[] args) throws Exception { if (args.length != 2) { System.err.println("Usage: MaxTemperature <input path> <output path>"); System.exit(-1); } Job job = new Job(); job.setJarByClass(MaxTemperature.class); job.setJobName("Max temperature"); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); job.setMapperClass(MaxTemperatureMapper.class); job.setReducerClass(MaxTemperatureReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); }
hadoop 2.7.6 eclipse插件
05-25
已经测试过workcount例子程序！ [hadoop@test Desktop]$ hadoop jar wordcount.jar \ > /user/hadoop/input/file* /user/hadoop/output 18/05/25 19:51:32 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 18/05/25 19:51:32 INFO mapreduce.JobSubmissionFiles: Permissions on staging directory /tmp/hadoop-yarn/staging/hadoop/.staging are incorrect: rwxrwxrwx. Fixing permissions to correct value rwx------ 18/05/25 19:51:34 INFO input.FileInputFormat: Total input paths to process : 3 18/05/25 19:51:35 INFO mapreduce.JobSubmitter: number of splits:3 18/05/25 19:51:35 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1527248744555_0001 18/05/25 19:51:36 INFO impl.YarnClientImpl: Submitted application application_1527248744555_0001 18/05/25 19:51:36 INFO mapreduce.Job: The url to track the job: http://test:8088/proxy/application_1527248744555_0001/ 18/05/25 19:51:36 INFO mapreduce.Job: Running job: job_1527248744555_0001 18/05/25 19:51:49 INFO mapreduce.Job: Job job_1527248744555_0001 running in uber mode : false 18/05/25 19:51:49 INFO mapreduce.Job: map 0% reduce 0% 18/05/25 19:52:20 INFO mapreduce.Job: map 100% reduce 0% 18/05/25 19:52:29 INFO mapreduce.Job: map 100% reduce 100% 18/05/25 19:52:31 INFO mapreduce.Job: Job job_1527248744555_0001 completed successfully 18/05/25 19:52:32 INFO mapreduce.Job: Counters: 49 File System Counters FILE: Number of bytes read=186 FILE: Number of bytes written=491001 FILE: Number of read operations=0 FILE: Number of large read operations=0 FILE: Number of write operations=0 HDFS: Number of bytes read=471 HDFS: Number of bytes written=40 HDFS: Number of read operations=12 HDFS: Number of large read operations=0 HDFS: Number of write operations=2 Job Counters Launched map tasks=3 Launched reduce tasks=1 Data-local map tasks=3 Total time spent by all maps in occupied slots (ms)=86763 Total time spent by all reduces in occupied slots (ms)=5836 Total time spent by all map tasks (ms)=86763 Total time spent by all reduce tasks (ms)=5836 Total vcore-milliseconds taken by all map tasks=86763 Total vcore-milliseconds taken by all reduce tasks=5836 Total megabyte-milliseconds taken by all map tasks=88845312 Total megabyte-milliseconds taken by all reduce tasks=5976064 Map-Reduce Framework Map input records=6 Map output records=24 Map output bytes=225 Map output materialized bytes=198 Input split bytes=342 Combine input records=24 Combine output records=15 Reduce input groups=5 Reduce shuffle bytes=198 Reduce input records=15 Reduce output records=5 Spilled Records=30 Shuffled Maps =3 Failed Shuffles=0 Merged Map outputs=3 GC time elapsed (ms)=647 CPU time spent (ms)=4390 Physical memory (bytes) snapshot=893743104 Virtual memory (bytes) snapshot=8465371136 Total committed heap usage (bytes)=659030016 Shuffle Errors BAD_ID=0 CONNECTION=0 IO_ERROR=0 WRONG_LENGTH=0 WRONG_MAP=0 WRONG_REDUCE=0 File Input Format Counters Bytes Read=129 File Output Format Counters Bytes Written=40
Hadoop MapReduce入门
07-03
本文作为Hadoop MapReduce的入门篇，首先对MapReduce原理进行简单介绍，然后以一个简单的例子说明如何编写一个简单的MapReuce程序。
Hadoop运行任务时一直卡在: INFO mapreduce.Job: Running job
u013058936的博客
02-10 2010
尝试过网上各种解决方案无效，最后将虚拟机设置的处理器的内核数量从1改为8解决。 ============================================================================= 后来做的修改； 2、修改Hadoop home下的/etc/hadoop下的capacity-scheduler.xml中的maximum-a...
Hadoop：INFO mapreduce.Job: Running job
weixin_45532984的博客
03-25 4553
（-1）把Yarn运行的内存搞成8g，4g也行，如果是开的虚拟机，这个好办，如果是用云服务器搭建的，那就换个运存大点的服务器，不想换那就参照（0），CSDN上最吊的。 （0）CSDN最迪吊解决办法，涉及到本质，其他都是不让MapReduce运行在Yran上，这个是真正修改了Yran与运行所需要的内存包括物理内存和虚拟内存 Hadoop提交MapReduce任务后卡在mapreduce.Job: Running job_阿团团的博客-CSDN博客 （1）查看所有的结点的NodeManager开启情况
Hadoop运行任务sqoop将hdfs文件导入mysql时一直卡在: INFO mapreduce.Job: Running job
bb123116的博客
12-24 2096
查看nodemanager运行日志 在hadoop安装路径/logs文件夹下 发现 node节点 日志卡在 Skipping monitoring container container_1583042746449_0003_01_000005 since CPU usage is not yet available. 后来在resourcemanager的主机上在etc/hadoop/yarn-site.xml中添加 <property> <name>yarn.
sqoop从hive导出到mysql卡在一直卡在INFO mapreduce.Job: Running job,改容量不行试试这个方法。
hjjhjji的博客
12-04 505
1-1.用$hadoop job -list查看进程，当时本人遇到已经是011了，初始是001.1.如果之前可以运行，大概率排除配置问题，先考虑是否进程过多一直在排队，($代表是命令)1-2.用$hadoop job -kill杀掉进程，再运行试一下。1-3.如果还不行就再重启一次，大概率就解决了。
Hadoop运行sqoop任务时一直卡在: mapreduce.Job: Running job: job_1593343246519_0035
qq_44982182的博客
06-29 2658
问题描述：Hadoop运行sqoop任务时一直卡在: mapreduce.Job: Running job: job_1593343246519_0035 大数据集群在搭建的时候，格式化之后，运行典型的例子是可以的，但是为什么会出现这个问题呢，是因为yarn管理的内存资源不够了，在分配给MR作业运行的时候，jvm获得的运行内存低下，因此会卡着。 计算：每个hadoop守护进程使用1000MB内存，因此需要2000MB内存来运行一个datanode和一个节点管理器，另外，还要为运行在本机上的其他进程保留足够内
sqoop脚本拉取mysql数据导入hbase执行中卡在Running job
top_OMZ的博客
12-14 2819
Running job卡住不动
hadoop_the_definitive_guide_3nd_edition
07-08
Running a Distributed MapReduce Job 37 Hadoop Streaming 37 Ruby 37 Python 40 iii www.it-ebooks.info Hadoop Pipes 41 Compiling and Running 42 3. The Hadoop Distributed Filesystem . . . . . . . . . . . ...
Hadoop: The Definitive Guide 3rd_edition
02-10
Hadoop: The Definitive Guide, Third Edition by Tom White 2012-01-27 Early release revision 1 Hadoop got its start in Nutch. A few of us were attempting to build an open source web search engine and ...
MapReduce任务卡在Running Job状态的多种解决方法
HoppingMad的博客
12-14 3554
问题描述： 当搭建好hadoop分布式环境测试运行MapReduce程序时有时会遇到MapReduce任务卡住，shell界面停在RunningJob后不动的情况，这种时候应当如何解决呢？ 原因分析： 正常情况下一个Job被提交上去后需要经历资源分配的过程，这往往需要数秒钟的时间，但通常不会过长，在Hadoop2.X中Yarn负责管理资源的分配和调度，那么大概率是Yarn资源分配过程遇到了毛病。 解决方案： 1、查看Hadoop详细日志 可以通过Hadoop前端web页面（一般为50070端口）查看
mapreduce任务卡在INFO mapreduce.Job: Running job
bigtiger1648的专栏
10-31 1139
http://123.123.123.123:50070/logs/ 确定日志中无报错信息，有的话就先解决。 如 上述措施还不顶用 将mapred-site.xml中 <property> <name>mapreduce.framework.name</name> <value&gt...
解决Hadoop运行jar包时一直卡在: INFO mapreduce.Job: Running job位置的问题
weixin_44177758的博客
05-06 7146
今天在Hadoop集群运行jar包时一直卡在INFO mapreduce.Job: Running job这个位置，于是上网查了一下，找到了一些解决方案： 下面是卡住都得位置 ： 首先是在我在yarn-site.xml中加 <property> <name>yarn.nodemanager.resource.memory-mb</name> &...
Hadoop提交MapReduce任务后卡在mapreduce.Job: Running job
四毛毛的博客
07-18 6457
今天写了一个简单的MapReduce程序，结果一跑就卡在mapreduce.Job: Running job这里，记录一下解决问题的过程，我在一台内存8G的笔记本上用虚拟机搭建集群，三个虚拟机都开了1G内存，Hadoop版本是3.0.3 打开对应的url检查job情况（即上图倒数第二行的http://master/cluster/app/application_1531899388083_0...
sqoop从数据库到处数据到hdfs时mapreduce卡住不动解决
cool__007的博客
02-03 9186
在sqoop时从数据库中导出数据时，出现mapreduce卡住的情况 经过百度之后好像是要设置yarn里面关于内存和虚拟内存的配置项．我以前没配置这几项，也能正常运行。但是这次好像运行的比较大。出现此故障的原因应该是，在每个Docker分配的内存和CPU资源太少，不能满足Hadoop和Hive运行所需的默认资源需求。   解决方案如下： 在yarn-site.xml中加入如下配
WPF基础应用
最新发布
泰勒今天想展开的博客
05-02 1101
Grid: Grid是最常用的布局容器之一，它允许你通过定义行和列以及对元素进行定位来进行布局。在Grid中，可以设置元素的边距来控制其与其他元素的距离。StackPanel: StackPanel按照单一方向（垂直或水平）堆叠其子元素。子元素的宽度或高度将取决于其内容，这使得它非常适合用来创建简单的列表或工具栏等。WrapPanel: WrapPanel允许子元素根据可用空间自动换行。当父容器的宽度被占满时，WrapPanel会自动将后续的元素放置到新的一行。DockPanel。
安装sqoop INFO mapreduce.Job: Job job_local16268663_0001 running in uber mode : false 2023-06-07 14:42:05,241 INFO mapreduce.Job: map 0% reduce 0% 2023-06-07 14:42:05,244 INFO mapreduce.Job: Job job_local16268663_0001 failed with state FAILED due to: NA 2023-06-07 14:42:05,260 INFO mapreduce.Job: Counters: 8
06-08
这个错误信息也非常简略，无法直接判断具体错误原因。但是根据错误信息可以判断是 MapReduce 任务执行失败了，可能是以下原因之一： 1. MapReduce 程序代码中存在错误，例如 Java 语法错误、逻辑错误等。 2. Hadoop 集群中某个节点出现故障或者资源不足，导致任务无法正常执行。 3. 输入数据格式不正确，导致任务无法正常执行。 您可以查看 Hadoop 的日志文件，查找更详细的错误信息。另外，您可以尝试重新编写 MapReduce 程序代码、检查 Hadoop 集群状态、或者检查输入数据格式是否正确等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值