hadoop中运行wordcount时卡住不动

最新推荐文章于 2024-05-22 08:42:12 发布

chuanjiaoye5017

最新推荐文章于 2024-05-22 08:42:12 发布

阅读量1.8k

点赞数

文章标签：大数据运维操作系统

原文链接：https://my.oschina.net/mkh/blog/77847

版权

hadoop中运行wordcount时卡住不动

解决方案：

首先保证各个节点和namenode配置一致，以及hosts中的ip要设置好，ip修改后记得使用source命令或者重启使其生效，启动hadoop后要使其离开安全模式，

bin/hadoop dfsadmin -safemode leave

下面就可以运行job了。

转载于:https://my.oschina.net/mkh/blog/77847

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

chuanjiaoye5017

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

大数据平台集群部署报错_hostname修改不重启导致_hbase无法启动_8080端口和zookeeper占用的8080端口冲突_jar包启动很慢_记录027---大数据工作笔记0187

添柴程序猿的专栏

08-17

在部署大数据平台hbase集群的时候,本次发现两个问题,需要记录,以后部署的是,要注意.1.由于系统修改了hostname. vim /etc/hosts 文件.这里原来是host5 改成了hadoop2531,这种情况下要注意.必须重启,如果不重启,那么,hbase集群,启动的时候就会报错,找不到对应的地址了就.一定要保证:这里变成了,对应设置的主机名以后,再去配置启动hbase.2.上面的问题解决以后,启动zookeeper集群,然后启动zookeeper集群以后,然后再去启动hbase,发现也启动不起

Hadoop Wordcount 一直卡在Job Running解决办法

SimonMenn的博客

09-16

1641

我使用的是腾讯云，4核8G的配置，hosts文件如下：我没有对内存分配做设置，使用的都是默认的。运行wordcount案例的时候总是卡住，查了一圈，有说把mapred-site.xml中 <name>mapreduce.framework.name</name> <value>yarn</value> 这一条删除的，但是删除了相当于仅仅在本机上运行，就不是分布式了。在yarn的网页上看到，卡在了waiting...

参与评论您还未登录，请先登录后发表或查看评论

hadoop运行自带wordcount卡住：INFO mapreduce.Job:job_1585916162475_0005

lingjing2的博客

04-03

1188

hadoop运行自带wordcount卡住：INFO mapreduce.Job:job_1585916162475_0005 ##本人hadoop小白，在搭建好hadoop集群后运行hadoop自带wordount程序在hadoop文件夹中创建wordcount.txt文件，内容不限，一些简单的英文即可 1.启动hadoop 2.进入hadoop目录，运行下面指令 $hadoop fs -mk...

hadoop wordcount卡住

zhang2010kang的专栏

04-29

3667

安装完hadoop后，运行hadoop自带的程序wordcount时，出现卡住的问题，等再长的时间也无法计算完。

简单的记录一下，Hadoop执行wordcount卡在job running ,以及hive进行mapreduce时意外被kill的情形。

weixin_54251487的博客

12-09

740

hadoop 默认检查磁盘状况，一旦超过默认的90%就会导致数据节点拒绝执行mapreduce，通过在yarn-site.xml 设置更大的阈值，延迟节点拒绝mapreduce的情况。3.更改 yarn-site.xml 里面的运行内存。上面的办法我都有试过，虽然没有解决问题，但并不能说是错的，可以尝试，如果没有解决的话可以试试下面的办法。出现其中任何一个问题，另一个问题大概率也会出现，也就是说二者出现问题的原因是一样的。一般来说，到这一步其他的配置因该是没有问题的。可以重起集群，不重启也能立即生效。

Hadoop运行wordcount时job卡住

ae5555的专栏

03-27

2756

若排除配置没有问题，并且提示有无法加载本地库的警告，则是版本问题。hadoop自带的native库(版本)位数与本机(版本)位数不同。 hadoop2.4以及之前的版本，自带的native库是32位的，必须匹配32位的OS和JVM。

Hadoop运行wordcount实例任务卡在job running的多种情况及解决方法

热门推荐

tangtang5156的专栏

11-06

1万+

在命令行或者是Eclipse远程连接运行Wordcount程序后，在页面8088端口号监控，始终没有变化，显示application为空。修改集群配置文件yarn-site.xml，加上如下几句： mapreduce.framework.name yarn 重启运行wordcount，页面有作业显示，如下但是作业运行失败，报错： 14/1

hadoop运行计算pi或running job卡住或 map 0% reduce 0%

空空说技术的博客

04-15

4633

1.出现MapReduce任务运行到running job卡住一：如下异常： Starting Job 16/06/30 01:15:34 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.10.50:8032 16/06/30 01:15:35...

Hadoop运行中NameNode闪退和运行mapreducer时卡在Running job.....

08-18

2348

开始安装Hadoop时第一次成功启动包括MapReducer程序也能成功运行。后来不知道什么原因进入了Safe mode即使退出了安全模式照样不能对HDFS进行任何修改操作，索性hdfs namenode -format格式化一下，连启动都无法启动了，修改NameNode和DataNode的clusterID一致后虽然修改HDFS问题解决了，但是运行任务时总是卡在了Running job

hadoop运行wordcount无反应

bluesky8640的博客专栏

02-23

2755

在主节点上执行“hadoop jar ../hadoop-0.20.2-examples.jar wordcount /tmp/input /tmp/output”后一直无反应像“hadoop fs -ls /tmp”之类的命令没有问题，能够对hdfs进行操作集群中namenode和datanode的namenodeID是一致的，没有问题，不知道问题出在哪里下面是hadoop的配置文件

hadoop运行wordcount实例

05-30

包含配置hadoop过程中遇到的一些问题的解决办法和成功运行wordcount实例的步骤

hadoop2.7.x运行wordcount程序卡住在INFO mapreduce.Job: Running job:job _1469603958907_0002

IT_NEU_Lee的博客

09-15

2344

hadoop 运行wordcount出现卡死的状况运行不下去参考了下面的博客得到了解决 : https://www.cnblogs.com/xiangyangzhu/p/5711549.html

Hadoop集群下运行Wordcount程序中途卡顿运行时间过长的解决方案

蔡政洁的博客

12-29

2612

一、抛出问题在运行jar包时，或者是测试Hadoop的wordcount程序时，不知道你是否会遇到，运行卡顿，总是出不来结果的问题，就是运行出来了，也是等了大半天，这样等下去会不会有点浪费钱，浪费时间的感觉。。。我曾经也遇到这样的问题，卡了我三天的进程，翻过无数大佬们的博客，最终找出了问题的原因：在每个虚拟机分配的内存和CPU资源太少，不能满足Hadoop运行所需的默认资源需求。二、我的问题...

分布式集群环境下运行Wordcount程序

weixin_30740581的博客

01-10

142

1.分布式环境的Hadoop提交作业方式与本地安装的Hadoop作业提交方式相似，但有两点不同：　　1）作业输入输出都存储在HDFS 　　2）本地Hadoop提交作业时将作业放在本地JVM执行，而分布式集群将作业提交给JobTracker，并且使用分布式集群中的节点执行该作业。 2.运行步骤　　1）./hadoop fs -mkdir /data/ (这一步开始踩坑--) 　　 ...

WMware Workstations在CentOS7下执行wordcount卡在job处

qq_40129633的博客

11-15

164

博主好不容易装好hadoop伪分布式，且能用hdfs上传文件，然而当执行wordcount时又卡在job处毫无进展，情况如下于是乎博主去百度查了很多解决方案，但大多数都是配置问题，而博主能确定自己的配置毫无问题，最终还是在一个评论中找到了解决方案。如下： 1.用hadoop job -list 查看进程运行情况使用hadoop job -kill <job号>杀死所有进程...

执行wordcount报错及解决

qq_62768655的博客

10-10

138

今天在执行wordcount词频统计时报错执行语句为 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput 报错如下这表示指定的输入路径 hdfs://hadoop102:8020/user/atguigu/wcinput 不存在然后我打开hado...

WordCount运行详解

bbbeoy的专栏

03-17

673

1、MapReduce理论简介 1.1 MapReduce编程模型　　MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。　　在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是Job

hadoop集群运行wordcount

06-28

Hadoop集群运行WordCount的步骤如下： 1. 准备数据：将需要统计的文本数据上传到Hadoop集群中的HDFS文件系统中。 2. 编写MapReduce程序：编写WordCount的MapReduce程序，其中包括Mapper类和Reducer类。 3. 打包...