- 博客(4)
- 收藏
- 关注
原创 KeyValueTextInputFormat
本文章只是个人在学习MapReduce的笔记KeyValueTextInputFormat是FileInputFormat的一个实现类,每一行为一条记录,被分隔符分割为key,value。可以通过在驱动类中设置conf.set(KeyValueLineRecordReader.KEY_VALUE_SEPERATOR,"\t")设置分割符案例:Mapper类package com.hadoop.KeyValueTextInputFormat;import org.apache.ha.
2021-11-17 16:21:07 274
原创 Combine TextInput Format
须在MapReduce中的Drive中设置setMaxInputSpiltSize()参数,得到想要划分多少文件//如果不设置InputFormat,默认是TextInputFormat,class job.setInputFormatClass(CombineTextInputFormat.class); //虚拟存储最大切片设置20m CombineTextInputFormat.setMaxInputSplitSize(job,2097152...
2021-10-31 11:08:46 147
原创 自定义bean对象序列化
本文章只是我在学习MapReduce的笔记,但是在实际过程中还需要自己定义类型满足要求1.创建bean对象,定义Flowbean()序列化对象,重写序列化与反序列化方法package com.hadoop.flowsum;import org.apache.hadoop.io.Writable;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;public clas..
2021-10-30 18:45:23 342
原创 MapReduce中的WordCount编写
MapReduce中主要有三大类Mapper,Reduce,Drive,它们类似八股文一样有自己的格式pom.xml:<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</v
2021-10-29 09:48:21 817
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人