KeyValueTextInputFormat 分割key value For hadoop 1.0

对于要分割这样的文本:

1,2

1,3

2,4

.......

需要使用hadoop的KeyValueTextInputFormat,于是乎就要配置:

Configuration conf = new Configuration();
Job job = new Job(conf,"MyJob");

conf.set("mapreduce.input.keyvaluelinerecordreader.key.value.separator", ",");
job.setInputFormatClass(KeyValueTextInputFormat.class);


重点是红色部分代码,配置这两个地方就可以,这是hadoop1.0的配置方法

 但是很多书上写的都是

jobConf.set("key.value.separator.in.input.line", ",");
job.setOutputFormatClass(TextOutputFormat.class);

很多书上都是这么写的,因为这是旧的api,网上也有很多同学问  为什么KeyValueTextInputFormat 无法分割,

对于hadoop 1.0  要用mapreduce.input.keyvaluelinerecordreader.key.value.separator

hadoop 0.2 要用 key.value.separator.in.input.line


不一样的!


吐槽下:话说我也卡在这里快半个小时了,多亏stackoverflow,    最近学校网速不给力,上stackoverflow这种网站真慢,还怎么学习!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值