wordcount任务FileInputFormat.addInputPath()要求jobconf与job不匹配问题

最新推荐文章于 2022-04-14 15:52:19 发布
最新推荐文章于 2022-04-14 15:52:19 发布
阅读量2.8k 收藏 5
点赞数 7
分类专栏： Hadoop 文章标签： mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013019431/article/details/78555223
版权

这个问题涉及到了新老api的问题，出现这个的问题的同学是因为FileInputFormat导入错误，导入了org.apache.hadoop.mapred中的FileInputFormat类，该类要求jobconf参数，实际上应该导入的是import org.apache.hadoop.mapreduce.lib.input.FileInputFormat这个类，出现该问题的同学可以好好检查一下。

知天易or逆天难
关注
  • 7
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
使用hadoop实现WordCount实验报告.docx
06-10
**使用Hadoop实现WordCount实验报告** 实验报告的目的是详细记录使用Hadoop在Windows环境下实现WordCount应用的过程，包括环境配置、WordCount程序的实现以及实验结果分析。本实验旨在理解Hadoop分布式计算的基本...
云计算与大数据 MapReduce实验 WordCount.jar
11-22
云计算与大数据 MapReduce实验 Wordcount实验中所需数据包 WordCount.jar 不需要封装，centos7 linux hadoop实验上传所需
JobConf
weixin_30414635的博客
05-09 427
/** * A map/reduce job configuration.* 翻译：一个map/reduce作业配置* <p><code>JobConf</code> is the primary interface for a user to describe a * map-reduce job to the Hadoop framework for...
我们讨论JobConf
hddsj的专栏
04-28 2799
我们讨论JobConf，其有很多的项可以进行配置： setInputFormat：设置map的输入格式，默认为TextInputFormat，key为LongWritable,value为TextsetNumMapTasks：设置map任务的个数，此设置通常不起作用，map任务的个数取决于输入的数据所能分成的inputsplit的个数setMapperClass：设置Mapper，默认为Id
Hadoop Inside (1)
江湖·郎中·路
09-04 2012
启动一个Hadoop任务，一般流程是创建一个JobConf，然后调用JobClient.runJob执行。就从这里入手分析。runJob是一个静态方法，首先将输入的JobConf构造一个JobClient实例    /**     * Build a job client, connect to the default job tracker     */    public JobC
JobConf详解Job
weixin_30877181的博客
05-23 469
转载于:https://www.cnblogs.com/sunxucool/archive/2013/05/23/3094964.html
Hadoop Map/Reduce 新API中自己的FileInputFormat写法
jokes000的专栏
12-11 5402
在看《Hadoop in Action》时发现代码使用的是旧的API，且部分API已经标记为Deprecated。 所以自己尝试着写了一个使用新API的例子来完成该代码的功能。 数据格式如下： "CITING","CITED" 3858241,956203 3858241,1324234 3858241,3398406 3858241,3557384 ... 程序的目的是将所
Hadoop环境搭建与WordCount实例浅析.pdf
10-02
- 在Hadoop环境中提交Job，执行WordCount任务，输入为文本文件，输出为单词计数结果。 6. **优化配置**： - 根据实际需求和硬件资源，参考`hadoop-default.xml`进行进一步的优化配置，如内存分配、副本数量等。 ...
Hadoop单机模式的安装以与执行WordCount程序文件.doc
09-28
Hadoop单机模式的安装以与执行WordCount程序文件.doc
phoenix_wordcount.tar.gz_Hadoop Phoenix_mapReduce_phoenix wordc
09-14
《Hadoop、Phoenix与MapReduce：探索Phoenix WordCount实例》 在大数据处理领域，Hadoop、Phoenix和MapReduce是三个至关重要的组件。本篇将详细阐述这三个技术，并以"Phoenix WordCount"为例，深入解析其在实际应用...
Bootstrap fileinput文件上传预览插件使用详解
01-19
介绍 通过本文，你可以学习到如何封装或者开发一个前端组件，同时学习Bootstrap-fileinput组件的使用，封装后使用更加简单方便。 BaseFile是AdminEAP框架中基于Bootstrap-fileinput的附件上传组件，它支持 支持多文件、在线预览、拖拽上传等功能，封装后BaseFile主要包括以下功能： 弹出窗口的附件上传 当前界面的附件上传 显示附件明细 可编辑的附件明细（删除、预览、不可新增） 关于Bootstrap-fileinput的API文档可参考http://plugins.krajee.com/file-input 本文源码已在Admin
mapreduce 输入路径
W1197680160的博客
08-04 820
目前为止知道MapReduce有三种输入路径的设置方式： 1、第一种是通过以下方式输入： FileInputFormat.addInputPath(job, new Path(args[0])); FileInputFormat.addInputPath(job, new Path(args[1])); FileInputFormat.addInputPath(job, new Path(args...
MapReduce数据流（二）
weixin_30485799的博客
01-11 412
　　接上一篇：MapReduce数据流（一）　　 　　输入块（InputSplit）：一个输入块描述了构成MapReduce程序中单个map任务的一个单元。把一个MapReduce程序应用到一个数据集上，即是指一个作业，会由几个（也可能几百个）任务组成。Map任务可能会读取整个文件，但一般是读取文件的一部分。默认情况下，FileInputFormat及其子类会以64MB（与HDFS的Block默...
hadoop 问题
luorisheng的专栏
06-18 1005
-----------配置------------------- hadoop -jar job.jar -conf hadoop-localhost.xml input/ tmp fs.default.name hdfs://localhost/   mapred.job.tracker localhost:8021 -------------
00000
qq_43544682的博客
04-14 1774
0403 整理了每次打开虚拟机ubuntu16.04常遇问题及解决办法 记录了一些安装包的安装地址，打开命令，省的每次现去找地址比较浪费时间。 1.虚拟机无法复制拷贝 安装vmtools，通过命令行升级到最高版本 虚拟机安装和卸载VMtools https://blog.csdn.net/hxp1994/article/details/107291735/ config https://www.cnblogs.com/iBoundary/p/12653207.html 2.虚拟机打开没有网络怎么办 关机，编
Hadoop实现多输入路径输入
A_stranger的专栏
12-06 1619
1.多路径输入 1）FileInputFormat.addInputPath 多次调用加载不同路径 String in0 = args[0]; String in1 = args[1]; String out = args[2]; FileInputFormat.addInputPath(job,new Path(in0)); FileInputFormat.addInputPath...
org.apache.hadoop.mapred.FileInputFormat 与org.apache.hadoop.mapreduce.lib.input.FileInputFormat
weixin_30256505的博客
04-17 1604
Hadoop中mapred包和mapreduce包的区别就是 mapred代表的是hadoop旧API，而mapreduce代表的是hadoop新的API。 具体可以参考网址https://blog.csdn.net/u014470581/article/details/51488008 对比 ： 　　hadoop旧api如何初始化job？ hadoop新api使用那个函...
MapReduce程序中的万能输入FileInputFormat.addInputPaths
lzq123_1的专栏
11-21 4237
写MR过程中经常会遇到多个源路径的输入，我们可以在MR程序主函数中通过FileInputFormat.addInputPaths(job,args[0])方法来实现， args[0]可以是folder1或者folder1，folder2只要以逗号分隔就可以了。 这样在执行MR的时候，输入会将多个源路径全部多为map输入进行执行。 另外一种实现单输入的方法（只支持一
帮我解释下面的代码：import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; public class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{ private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context ) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context ) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); if (otherArgs.length != 2) { System.err.println("Usage: wordcount <in> <out>"); System.exit(2); } Job job = new Job(conf, "word count"); job.setJarByClass(WordCount.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } }
最新发布
05-31
这段代码是一个 Hadoop MapReduce 的 WordCount（词频统计）程序，主要包括以下几个部分： 1. 引入需要用到的类库： ``` import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; ``` 2. 定义 Mapper 类： ``` public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{ private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } ``` Mapper 类主要是将输入的文本分割成单词，然后对每个单词输出一个键值对，其中键为单词，值为 1。 3. 定义 Reducer 类： ``` public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } ``` Reducer 类主要是将 Mapper 输出的键值对按照键进行分组，然后对每组键值进行统计，输出每个单词出现的次数。 4. 定义主函数： ``` public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); if (otherArgs.length != 2) { System.err.println("Usage: wordcount <in> <out>"); System.exit(2); } Job job = new Job(conf, "word count"); job.setJarByClass(WordCount.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } ``` 主函数主要是设置 MapReduce 作业的相关参数，包括输入路径、输出路径、Mapper 类、Reducer 类、输出键值对类型等。最后调用 `waitForCompletion` 函数提交作业并等待作业完成。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值