- 博客(4)
- 收藏
- 关注
RSS订阅原创 KeyValueTextInputFormat
本文章只是个人在学习MapReduce的笔记 KeyValueTextInputFormat是FileInputFormat的一个实现类，每一行为一条记录，被分隔符分割为key，value。可以通过在驱动类中设置conf.set(KeyValueLineRecordReader.KEY_VALUE_SEPERATOR,"\t")设置分割符 案例： Mapper类 package com.hadoop.KeyValueTextInputFormat; import org.apache.ha.
2021-11-17 16:21:07
239
原创 Combine TextInput Format
须在MapReduce中的Drive中设置setMaxInputSpiltSize()参数，得到想要划分多少文件 //如果不设置InputFormat，默认是TextInputFormat,class job.setInputFormatClass(CombineTextInputFormat.class); //虚拟存储最大切片设置20m CombineTextInputFormat.setMaxInputSplitSize(job,2097152...
2021-10-31 11:08:46
128
原创 自定义bean对象序列化
本文章只是我在学习MapReduce的笔记， 但是在实际过程中还需要自己定义类型满足要求 1.创建bean对象，定义Flowbean（）序列化对象，重写序列化与反序列化方法 package com.hadoop.flowsum; import org.apache.hadoop.io.Writable; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; public clas..
2021-10-30 18:45:23
314
原创 MapReduce中的WordCount编写
MapReduce中主要有三大类Mapper,Reduce,Drive,它们类似八股文一样有自己的格式 pom.xml: <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</v
2021-10-29 09:48:21
807
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人