Idea里面老版本MapReduce设置FileInputFormat参数格式变化 ...

最新推荐文章于 2020-01-28 15:08:36 发布

flybirding10011

最新推荐文章于 2020-01-28 15:08:36 发布

阅读量383

点赞数 1

文章标签：开发工具大数据

原文链接：https://yq.aliyun.com/articles/688291

版权

我们随便百度一个经典的MapReduce程序----wordcount的时候，在设置job文件输入路径和输出路径参数时，会看到别的博主会这么写：

Configuration conf = new Configuration();
Job wordCountJob = Job.getInstance(conf);
//省略。。。。
FileInputFormat.setInputPaths(wordCountJob,"hdfs://192.168.77.70:9000/wordcount/srcdata/");
FileOutputFormat.setOutputPath(wordCountJob, new Path("hdfs://192.168.77.70:9000/wordcount/output/"));

但是我在Idea里面复制粘贴编译时，其实是报错的。这是因为，我导的是老版本的包，但是也能运行，代码要稍作修改，它在版本中要求FileInputFormat调用的方法名是addInputPath且第一个参数是JobConf型，同样FileOutputFormat调用的输出名是setOutputPath,参数也是JobConf型。所以这个时候要进行强转，具体做法如下：

   FileInputFormat.addInputPath((JobConf)wordCountJob.getConfiguration(),new Path(args[0]));
     FileOutputFormat.setOutputPath((JobConf)wordCountJob.getConfiguration(),new Path(args[1]));

flybirding10011

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
Idea里面老版本MapReduce设置FileInputFormat参数格式变化 ...

我们随便百度一个经典的MapReduce程序----wordcount的时候，在设置job文件输入路径和输出路径参数时，会看到别的博主会这么写：Configuration conf = new Configuration();Job wordCountJob = Job.getInstance(conf);//省略。。。。FileInputFor...
复制链接

扫一扫

flybirding10011

CSDN认证博客专家 CSDN认证企业博客

码龄10年

3336: 原创

-: 周排名

200万+: 总排名

374万+: 访问

: 等级

7万+: 积分

1万+: 粉丝

2630: 获赞

1769: 评论

5763: 收藏

私信

关注

热门文章

分类专栏

最新评论

DNN、CNN、RNN、LSTM的区别
Barrettt:
安卓逆向入门之frida框架简单使用
cjl_751013: 太简单了
呵呵
小测试_CCC: <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-ribbon</artifactId> </dependency>
周星驰 Web3 团队将上线独立 App；Gemini 刚发就惹质疑：效果视频疑似剪辑；Meta 推独立AI图像生成器｜极客头条...
假装自己很用心: 这是第一个代码 [code=python] import turtle # 初始化turtle t = turtle.Turtle() t.speed(0) # 设置最快速度 # 设定画笔颜色和填充色 t.pencolor("red") # 边框颜色 t.fillcolor("pink") # 填充颜色 t.begin_fill() # 开始填充图形 # 绘制爱心左半部分 t.left(45) # 左转45度 t.forward(100) t.circle(100, 180) # 以当前位置为中心，半径100，逆时针转180度 # 绘制爱心右半部分 t.circle(100, 180) # 再逆时针转180度回到起点 t.forward(100) # 结束填充图形 t.end_fill() # 提升画笔，隐藏turtle t.penup() t.hideturtle() # 显示最终图形 turtle.done() [/code] 这是第二个代码[code=python] [code=python] import turtle # 初始化turtle t = turtle.Turtle() t.speed(0) # 设置最快速度 # 设定画笔颜色和填充色 t.pencolor("red") # 边框颜色 t.fillcolor("pink") # 填充颜色 t.begin_fill() # 开始填充图形 # 绘制爱心左半部分 t.left(45) # 左转45度 t.forward(100) t.circle(100, 180) # 以当前位置为中心，半径100，逆时针转180度 # 绘制爱心右半部分 t.circle(100, 180) # 再逆时针转180度回到起点 t.forward(100) # 结束填充图形 t.end_fill() # 提升画笔，隐藏turtle t.penup() t.hideturtle() # 显示最终图形 turtle.done() [/code] [/code]
周星驰 Web3 团队将上线独立 App；Gemini 刚发就惹质疑：效果视频疑似剪辑；Meta 推独立AI图像生成器｜极客头条...
假装自己很用心: 啦啦啦啦遮挡代码 [code=python] import turtle # 初始化turtle t = turtle.Turtle() t.speed(0) # 设置最快速度 # 设定画笔颜色和填充色 t.pencolor("red") # 边框颜色 t.fillcolor("pink") # 填充颜色 t.begin_fill() # 开始填充图形 # 绘制爱心左半部分 t.left(45) # 左转45度 t.forward(100) t.circle(100, 180) # 以当前位置为中心，半径100，逆时针转180度 # 绘制爱心右半部分 t.circle(100, 180) # 再逆时针转180度回到起点 t.forward(100) # 结束填充图形 t.end_fill() # 提升画笔，隐藏turtle t.penup() t.hideturtle() # 显示最终图形 turtle.done() [/code] 阿拉啦啦啦

最新文章

2024

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。