MapReduce开发
woshiliufeng
这个作者很懒,什么都没留下…
展开
-
Hadoop中的序列化:自定义value类型
NullWritable序列化不包含任何字符,仅仅相当于个占位符,在使用mapreduce时,key或者value在无需使用时,可以定义为NullWritable hadoop的value类型只需实现Writable接口,key类型需要实现WritableComparable接口 自定义对象中有String字段时 dataOutput.writeUTF(对象)用Text.writeStrin原创 2015-08-11 15:53:18 · 812 阅读 · 0 评论 -
Hadoop 2.X中的依赖Job
需要注意的是:JobControl类实现了Runnable接口,因此需要用一个Thread实例start启动它,不能直接用run方法 具体代码片段见下面: @Override public int run(String[] arg0) throws Exception { JobConf jobConfMediate = new JobConf(getConf(), TudouEpisod原创 2015-08-11 16:51:37 · 642 阅读 · 0 评论