hadoop词频统计报错,没解决

最新推荐文章于 2023-04-14 08:42:52 发布
最新推荐文章于 2023-04-14 08:42:52 发布
阅读量1.3k 收藏
点赞数
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wsong_14/article/details/77455700
版权
在尝试使用Hadoop进行本地词频统计时遇到错误，包括Hadoop命令行选项未设置、缺少job.jar文件、警告信息提示参数覆盖以及最终的Shuffle阶段错误。错误源于map输出文件无法找到，导致 ShuffleFetchFailedException。具体错误堆栈显示在本地fetcher过程中，文件D:/tmp/hadoop-qw%20song/mapred/local/localRunner/qw%20song/jobcache/job_local1813302185_0001/attempt_local1813302185_0001_m_000000_0/output/file.out.index丢失。
摘要由CSDN通过智能技术生成

17/08/21 19:57:34 INFO Configuration.deprecation: session.id is deprecated. Instead, use dfs.metrics.session-id
17/08/21 19:57:34 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
17/08/21 19:57:34 WARN mapreduce.JobSubmitter: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
17/08/21 19:57:34 WARN mapreduce.JobSubmitter: No job jar file set. User classes may not be found. See Job or Job#setJar(String).
17/08/21 19:57:34 INFO input.FileInputFormat: Total input paths to process : 1
17/08/21 19:57:34 INFO mapreduce.JobSubmitter: number of splits:1
17/08/21 19:57:34 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_local1813302185_0001
17/08/21 19:57:34 WARN conf.Configuration: file:/tmp/hadoop-qw song/mapred/staging/qw song1813302185/.staging/job_local1813302185_0001/job.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.retry.interval; Ignoring.
17/08/21 19:57:34 WARN conf.Configuration: file:/tmp/hadoop-qw song/mapred/staging/qw song1813302185/.staging/job_local1813302185_0001/job.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.attempts; Ignoring.
17/08/21 19:57:34 WARN conf.Configuration: file:/tmp/hadoop-qw song/mapred/local/localRunner/qw song/job_local1813302185_0001/job_local1813302185_0001.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.retry.interval; Ignoring.
17/08/21 19:57:34 WARN conf.Configuration: file:/tmp/hadoop-qw song/mapred/local/localRunner/qw song/job_local1813302185_0001/job_local1813302185_0001.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.attempts; Ignoring.
17/08/21 19:57:34 INFO mapreduce.Job: The url to track the job: http://localhost:8080/
17/08/21 19:57:34 INFO mapreduce.Job: Running job: job_local1813302185_0001
17/08/21 19:57:34 INFO mapred.LocalJobRunner: OutputCommitter set in config null
17/08/21 19:57:34 INFO mapred.LocalJobRunner: OutputCommitter is org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter
17/08/21 19:57:34 INFO mapred.LocalJobRunner: Waiting for map tasks
17/08/21 19:57:34 INFO mapred.LocalJobRunner: Starting task: attempt_local1813302185_0001_m_000000_0
17/08/21 19:57:34 INFO util.ProcfsBasedProcessTree: ProcfsBasedProcessTree currently is supported only on Linux.
17/08/21 19:57:35 INFO mapred.Task: Using ResourceCalculatorProcessTree : org.apache.hadoop.yarn.util.WindowsBasedProcessTree@78c45142
17/08/21 19:57:35 INFO mapred.MapTask: Processing split: hdfs://linux:8020/input/wordcount.txt:0+37
17/08/21 19:57:35 INFO mapred.MapTask: Map output collector class = org.apache.hadoop.mapred.MapTaskMapOutputBuffer  
17/08/21 19:57:35 INFO mapred.MapTask: (EQUATOR) 0 kvi 26214396(104857584)  
17/08/21 19:57:35 INFO mapred.MapTask: mapreduce.task.io.sort.mb: 100  
17/08/21 19:57:35 INFO mapred.MapTask: soft limit at 83886080  
17/08/21 19:57:35 INFO mapred.MapTask: bufstart = 0; bufvoid = 104857600  
17/08/21 19:57:35 INFO mapred.MapTask: kvstart = 26214396; length = 6553600  
17/08/21 19:57:35 INFO mapred.LocalJobRunner:   
17/08/21 19:57:35 INFO mapred.MapTask: Starting flush of map output  
17/08/21 19:57:35 INFO mapred.MapTask: Spilling map output  
17/08/21 19:57:35 INFO mapred.MapTask: bufstart = 0; bufend = 49; bufvoid = 104857600  
17/08/21 19:57:35 INFO mapred.MapTask: kvstart = 26214396(104857584); kvend = 26214388(104857552); length = 9/6553600  
17/08/21 19:57:35 INFO mapred.MapTask: Finished spill 0  
17/08/21 19:57:35 INFO mapred.Task: Task:attempt_local1813302185_0001_m_000000_0 is done. And is in the process of committing  
17/08/21 19:57:35 INFO mapred.LocalJobRunner: map  
17/08/21 19:57:35 INFO mapred.Task: Task ‘attempt_local1813302185_0001_m_000000_0’ done.  
17/08/21 19:57:35 INFO mapred.LocalJobRunner: Finishing task: attempt_local1813302185_0001_m_000000_0  
17/08/21 19:57:35 INFO mapred.LocalJobRunner: map task executor complete.  
17/08/21 19:57:35 INFO mapred.LocalJobRunner: Waiting for reduce tasks  
17/08/21 19:57:35 INFO mapred.LocalJobRunner: Starting task: attempt_local1813302185_0001_r_000000_0  
17/08/21 19:57:35 INFO util.ProcfsBasedProcessTree: ProcfsBasedProcessTree currently is supported only on Linux.  
17/08/21 19:57:35 INFO mapred.Task:  Using ResourceCalculatorProcessTree : org.apache.hadoop.yarn.util.WindowsBasedProcessTree@4dbff46f  
17/08/21 19:57:35 INFO mapred.ReduceTask: Using ShuffleConsumerPlugin: org.apache.hadoop.mapreduce.task.reduce.Shuffle@4a052c9e  
17/08/21 19:57:35 INFO reduce.MergeManagerImpl: MergerManager: memoryLimit=1303589632, maxSingleShuffleLimit=325897408, mergeThreshold=860369216, ioSortFactor=10, memToMemMergeOutputsThreshold=10  
17/08/21 19:57:35 INFO reduce.EventFetcher: attempt_local1813302185_0001_r_000000_0 Thread started: EventFetcher for fetching Map Completion Events  
17/08/21 19:57:35 INFO mapred.LocalJobRunner: reduce task executor complete.  
17/08/21 19:57:35 WARN mapred.LocalJobRunner: job_local1813302185_0001  
java.lang.Exception: org.apache.hadoop.mapreduce.task.reduce.Shuffle

最低0.47元/天 解锁文章
wsow
关注
初学Hadoop之WordCount词频统计
云智禅师的专栏
04-06 4771
阅读目录 1、WordCount源码2、编译源码3、运行4、查看结果 1、WordCount源码 将源码文件WordCount.java放到Hadoop2.8.0文件夹中。 import java.io.IOException; import java.util.StringTokenizer; import org.apache.hado
解决做hadoop统计词频产生的java.net.connection:拒接连接问题
qq_32659773的博客
09-11 412
1、关闭防火墙 2、主机名一定要确认，不是修改了就生效了，必须重启。 3、除yarn-site.xml外其他都改成ip，yarn-site.xml可以用主机名。 ...
Hadoop 经典案例--------单词统计中遇到的问题
一指流沙的博客
05-14 1251
一、Hadoop运行jar包时一直卡在: INFO mapreduce.Job: Running job位置的问题 //进入到hadoop虚拟机，进入存放hadoop的文件，执行以下指令 cd hadoop-2.7.4 cd etc/hadoop/ [root@hadoop01 hadoop]# ls capacity-scheduler.xml hadoop-metrics2.properties httpfs-signature.secret log4j.properties
hadoop使用MapReduce统计单词出现次数案例
qq_34526237的博客
04-12 578
前面的文章已经展示了如何在windows上传文件到hdfs，上传后如何简单的做统计，本文展示一下。上传文件到HDFS链接 这里我们做一个案例，对一个上传到HDFS的文档中统计good出现的次数。 文件内容如下 大致的流程如下，先从hdfs读取数据，然后筛选出符合要求的数据并且做标记，最后使用reduce对各个结果进行汇总，最后的预期结果应该是统计文件内容为 代码如下（示例）： 2.2 reduce类编写 2.3 main类编写 三、打包测试 3.1 上传包到hadoop集群，并且执行jar 3.1.1
hadoop下运行WordCout单词计数抛出错误
pqb_java的博客
10-01 670
我想每个人都怀揣着激动的心运行hadoop界的helloword--WordCount程序，可是等了许久后才在控制台中看到了一串红色的，我想每个搞习惯了eclipse的人都不会很陌生，这就是让我们又爱又恨的错误，爱的是终于知道 是哪错了，恨的咬牙切齿的是这是一个错误，意味着我们的程序出嘻嘻了，有错，下面便是抛出的异常： Exception in thread"main"java.lang.Uns
Hadoop词频统计
weixin_49670340的博客
12-25 4268
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
hadoop中文词频统计WordCount实验
qq_51618005的博客
11-05 3385
666
大数据1.6
weixin_64895348的博客
11-28 204
三个数据节点（datanode）——小弟，在master、slave1与slave2虚拟机上。--是否启用hdfs权限，当值为false时，代表关闭-->--hdfs web的地址，默认为9870，可不配置-->--关闭虚拟内存检测，在虚拟机环境中不做配置会报错-->--用来指定hadoop运行时产生文件的存放目录-->--注意如果使用hadoop2，默认为50070-->--配置资源管理器：集群master-->--配置节点管理器上运行的附加服务-->
Hadoop实现词频统计（按照词频降序排列以及相同词频的单词按照字母序排列）
m0_49766582的博客
01-21 3814
Hadoop实现词频统计（按照词频降序排列以及相同词频的单词按照字母序排列） 分为两步词频统计和排序。第一个map reduce与过滤停用词的代码相同；第二个map reduce中的map将键值对内容交换，map到reduce的shufle中会自动进行key值升序排序，这时需要重写排序为降序。Reduce中需要将相同词频的单词按照字母进行升序排列，.sort（）方法默认时升序排列的。 重点：1.两个map reduce时需要将加入控制器 2.重写sort类，在shuffle中的排序 public stat
MapReduce几个小案例
weixin_30929195的博客
08-29 1267
MapReduce案例 1.单词计数--wordcount 首先准备好文件 Hello World Hello Java Hello World Hello hadoop wo shi wo 开始编写程序 public class MapReduceTest { //第一个参数是我们的行偏移量 //第二个参数是我们的数据集 ...
hadoop实现单词统计
Bernice32880的博客
04-29 2143
工具：IDEA 在一切开始之前，我们先要确定我们的hadoop环境是否正常，hdfs文件系统是否正常。 如何验证呢？首先，把集群启动，正常显示界面： 进入文件系统： 此时需要创建一个文件夹用于存放一会会用到的文件，我这里取名为input 在hdfs系统创建文件夹有两个方法，其中一个是直接敲命令：hadoop fs -mkdir /input 第二个是在界面上创建： 不管用哪种方式，保证有这么一个文件夹就行了。 然后，创建一个txt文件，随便写几个单词进去，单词之间用空格分开（路径自己选，只要找得到就
关于hadoop的词频统计找不到主类问题
m0_63382147的博客
04-14 303
3.出现报错Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster。5.关闭hadoop集群，编辑hadoop的配置文件yarn-site.xml（注意：这段代码的value里面的内容是刚刚粘贴下来的路径）4.解决问题（在命令行界面输入hadoop classpath，将出现的路径粘贴下来）.6.启动hadoop集群。7.重新进行词频统计。8.查看词频统计结果。
Hadoop经典案例：词频统计
C.W.J
06-06 9640
copy from @寒小阳 总体流程 Map阶段代码 排序阶段 Reduce阶段 本地模拟测试代码 Hadoop集群运行案例 这是一个非常经典的例子，几乎在任何的hadoop教材上都会看到它，即使如此，它依旧是最经典最有代表性的案例，学习大数据处理，可以从先理解清楚它入手。 总体流程 咱们来看看对特别大的文件统计，整个过程是如何分拆的。 大家想想词频统计的过程...
在eclipse中进行HDFS编程进行词频统计（WordCount），代码没报错输出结果却为空！（已解决）
加辣椒了吗?的博客
04-24 1770
前段时间在初学HDFS编程，在eclipse编写词频统计（WordCount）代码的时候遇到了一个问题，困扰了好久，终于解决了！所以在这里记录分享一下心得。 第一步：启动集群 第二步：创建hadoop项目，并运行 如图：输入文件是test.txt,输出文件是out，结果是运行成功，没有报错信息，但输出文件out里却是空的。这就很奇怪了。 其实有报错还好，没报错是真的难受香菇啊! 一开始找了好多种方法，从代码角度，从编译器角度，再到Hadoop的集群分布都没发现问题，然后就就。。。很自闭！ 迫于无奈，从
Hadoop之词频统计WordCount
CS之路
03-06 3703
参考文章：Ubuntu16.04安装Hadoop单机和伪分布式环境超详细 1. 启动HDFS start-all.sh 2. 查看HDFS下包含的文件目录 hadoop dfs -ls / 由于是第一次运行，没有文件 3.在HDFS中创建一个文件目录input，将/usr/local/hadoop/README.txt上传至input中，此时再用ls查看就发现多了个in...
Hadoop单词统计实验
arnoldmapo的博客
03-22 4607
Hadoop单词统计实验 一、搭建思路 1. 使用前期搭建好的伪分布式hadoop系统（单节点部署方案）作为Hadoop的基础环境平台，如果对前期Hadoop基础平台搭建不熟悉可以关注CSDN的博客，有详细说明，详细地址如下：https://blog.csdn.net/arnoldmapo/article/details/104964971 2. 运用环境中自带Wordcount.j...
hadoop运行问题：INFO Configuration.deprecation: session.id is deprecated. Instead, use dfs.metrics.sessio...
weixin_30527143的博客
10-07 2647
最近在学习相关问题是，运行”./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+' “命令，出现了以下错误： 18/10/07 11:41:32 INFO Configuration.deprecation: session.id is...
在win7下eclipse连接Hadoop集群运行MR出现以下问题，该怎么解决？
weixin_41905040的博客
07-25 373
[main] INFO org.apache.hadoop.conf.Configuration.deprecation - session.id is deprecated. Instead, use dfs.metrics.session-id [main] INFO org.apache.hadoop.metrics.jvm.JvmMetrics - Initializing JVM ...
hadoop词频统计
最新发布
12-09
Hadoop词频统计是指使用Hadoop框架对大规模文本数据进行词频统计。下面是Hadoop词频统计的步骤： 1.准备数据：将需要进行词频统计的文本数据存储在HDFS中。 2.编写Mapper程序：Mapper程序的作用是将输入的文本数据进行分词，并将每个单词作为key，将出现次数作为value输出。 3.编写Reducer程序：Reducer程序的作用是将Mapper程序输出的key-value对进行合并，得到每个单词在文本中出现的总次数。 4.配置Job并提交任务：将Mapper和Reducer程序打包成jar包，并通过Hadoop提供的命令将任务提交到YARN集群中运行。 5.查看结果：任务运行完成后，可以通过Hadoop提供的命令将结果从HDFS中读取出来。 下面是一个简单的Hadoop词频统计的Mapper程序的Python代码： ```python #!/usr/bin/env python import sys # 读取输入数据 for line in sys.stdin: # 去除首尾空格 line = line.strip() # 分词 words = line.split() # 输出每个单词的出现次数 for word in words: print('%s\t%s' % (word, 1)) ``` 下面是一个简单的Hadoop词频统计的Reducer程序的Python代码： ```python #!/usr/bin/env python import sys # 初始化变量 current_word = None current_count = 0 # 处理输入数据 for line in sys.stdin: # 去除首尾空格 line = line.strip() # 解析输入数据 word, count = line.split('\t', 1) count = int(count) # 如果当前单词与上一个单词不同，则输出上一个单词的统计结果 if current_word and current_word != word: print('%s\t%s' % (current_word, current_count)) current_count = 0 # 更新当前单词的统计结果 current_word = word current_count += count # 输出最后一个单词的统计结果 if current_word: print('%s\t%s' % (current_word, current_count)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值