大数据案例（八）——自定义Inputformat

最新推荐文章于 2020-12-23 23:17:11 发布
最新推荐文章于 2020-12-23 23:17:11 发布
阅读量189 收藏
点赞数
文章标签： 大数据 git java
原文链接：https://my.oschina.net/ittzg/blog/3070766
版权

代码下载地址：https://github.com/tazhigang/big-data-github.git

一、概述

  • 自定义一个InputFormat
  • 改写RecordReader，实现一次读取一个完整文件封装为KV
  • 在输出时使用SequenceFileOutPutFormat输出合并文件

二、案例需求

  1. 需求: 无论hdfs还是mapreduce，对于小文件都有损效率，实践中，又难免面临处理大量小文件的场景，此时，就需要有相应解决方案。将多个小文件合并成一个文件SequenceFile，SequenceFile里面存储着多个文件，存储的形式为文件路径+名称为key，文件内容为value。
  2. 输入数据 
    	=====================================test01.txt=================================
	01	小米
	02	华为
	03	格力
	test01
	=====================================test02.txt=================================
	这是一个文件test02
	=====================================test03.txt=================================
	这是一个文件03
	hello 
	picture
  3. 最终输出文件格式(由于是二进制文件所以只能大概看出：改文件是有以上三个文件合并而成，并且文件内从是文件路径及文件内容组成)
SEQorg.apache.hadoop.io.Text"org.apache.hadoop.io.BytesWritable      罆	荖牭Cm
乥?   q   CBhdfs://hadoop-ip-101:9000/user/hadoop/inputformat/input/test01.txt   *锘?1	灏忕背
02	鍗庝负
03	鏍煎姏
test01   a   CBhdfs://hadoop-ip-101:9000/user/hadoop/inputformat/input/test02.txt   杩欐槸涓€涓枃浠秚est01
   l   CBhdfs://hadoop-ip-101:9000/user/hadoop/inputformat/input/test03.txt   %杩欐槸涓€涓枃浠?3
hello 
picture
  1. 分析:小文件的优化无非以下几种方式：
    • （1）在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS
    • （2）在业务处理之前，在HDFS上使用mapreduce程序对小文件进行合并
    • （3）在mapreduce处理时，可采用CombineTextInputFormat提高效率
  2. 具体实现:本节采用自定义InputFormat的方式，处理输入小文件的问题。
    • （1）自定义一个InputFormat
    • （2）改写RecordReader，实现一次读取一个完整文件封装为KV
    • （3）在输出时使用SequenceFileOutPutFormat输出合并文件

三、创建maven项目

  1. 项目结构
  2. 代码 ：
  • HDFSUtil.java 
    	package com.ittzg.hadoop.inputformat;

	import org.apache.hadoop.conf.Configuration;
	import org.apache.hadoop.fs.FileSystem;
	import org.apache.hadoop.fs.Path;
	import org.junit.After;
	import org.junit.Before;
	import org.junit.Test;

	import java.io.IOException;
	import java.net.URI;

	/**
	 * @email: tazhigang095@163.com
	 * @author: ittzg
	 * @date: 2019/7/6 20:44
	 */
	public class HDFSUtil {
		Configuration configuration = new Configuration();
		FileSystem fileSystem = null;

		/**
		 * 每次执行添加有@Test注解的方法之前调用
		 */
		@Before
		public void init(){
			configuration.set("fs.defaultFs","hadoop-ip-101:9000");
			try {
				fileSystem = FileSystem.get(new URI("hdfs://hadoop-ip-101:9000"),configuration,"hadoop");
			} catch (Exception e) {
				throw new RuntimeException("获取hdfs客户端连接异常");
			}
		}
		/**
		 * 每次执行添加有@Test注解的方法之后调用
		 */
		@After
		public void closeRes(){
			if(fileSystem!=null){
				try {
					fileSystem.close();
				} catch (IOException e) {
					throw new RuntimeException("关闭hdfs客户端连接异常");
				}
			}
		}
		/**
		 * 上传文件
		 */
		@Test
		public void putFileToHDFS(){
			try {
				fileSystem.copyFromLocalFile(new Path("F:\\big-data-github\\hadoop-parent\\hadoop-inputformat\\src\\main\\resources\\file\\test01.txt"),new Path("/user/hadoop/inputformat/input/test01.txt"));
				fileSystem.copyFromLocalFile(new Path("F:\\big-data-github\\hadoop-parent\\hadoop-inputformat\\src\\main\\resources\\file\\test02.txt"),new Path("/user/hadoop/inputformat/input/test02.txt"));
				fileSystem.copyFromLocalFile(new Path("F:\\big-data-github\\hadoop-parent\\hadoop-inputformat\\src\\main\\resources\\file\\test03.txt"),new Path("/user/hadoop/inputformat/input/test03.txt"));
			} catch (IOException e) {
				e.printStackTrace();
				System.out.println(e.getMessage());
			}
		}
		/**
		 * 创建hdfs的目录
		 * 支持多级目录
		 */
		@Test
		public void mkdirAtHDFS(){
			try {
				boolean mkdirs = fileSystem.mkdirs(new Path("/user/hadoop/inputformat/input"));
				System.out.println(mkdirs);
			} catch (IOException e) {
				e.printStackTrace();
			}
		}
	}
  • MyRecordReader.java 
    	package com.ittzg.hadoop.inputformat;

	import org.apache.hadoop.conf.Configuration;
	import org.apache.hadoop.fs.FSDataInputStream;
	import org.apache.hadoop.fs.FileSystem;
	import org.apache.hadoop.fs.Path;
	import org.apache.hadoop.io.BytesWritable;
	import org.apache.hadoop.io.IOUtils;
	import org.apache.hadoop.io.NullWritable;
	import org.apache.hadoop.mapreduce.InputSplit;
	import org.apache.hadoop.mapreduce.RecordReader;
	import org.apache.hadoop.mapreduce.TaskAttemptContext;
	import org.apache.hadoop.mapreduce.lib.input.FileSplit;

	import java.io.IOException;

	/**
	 * @email: tazhigang095@163.com
	 * @author: ittzg
	 * @date: 2019/7/7 21:44
	 */
	public class MyRecordReader extends RecordReader<NullWritable, BytesWritable> {
		private FileSplit fileSplit;
		private Configuration configuration;

		private BytesWritable value = new BytesWritable();
		private boolean isProcess = false; //表示是否读取完成文件内容

		public void initialize(InputSplit split, TaskAttemptContext context) throws IOException, InterruptedException {
			this.fileSplit = (FileSplit) split;
			this.configuration = context.getConfiguration();
		}

		public boolean nextKeyValue() throws IOException, InterruptedException {
			if(!isProcess){
				// 获取文件在Hdfs上的路径,并读取文件内容
				FileSystem fileSystem = null;
				FSDataInputStream inputStream = null;
				try {
					Path path = fileSplit.getPath();
					fileSystem = path.getFileSystem(configuration);
					inputStream = fileSystem.open(path);
					byte[] buf = new byte[(int) fileSplit.getLength()];
					IOUtils.readFully(inputStream,buf,0,buf.length);
					value.set(buf,0,buf.length);
				} finally {
					IOUtils.closeStream(fileSystem);
				}
				isProcess = true;
				return true;
			}
			return false;
		}

		public NullWritable getCurrentKey() throws IOException, InterruptedException {
			return NullWritable.get();
		}

		public BytesWritable getCurrentValue() throws IOException, InterruptedException {
			return value;
		}

		public float getProgress() throws IOException, InterruptedException {
			return 0;
		}

		public void close() throws IOException {

		}
	}
  • MyFileInputFormat.java 
    	package com.ittzg.hadoop.inputformat;

	import org.apache.hadoop.fs.Path;
	import org.apache.hadoop.io.ByteWritable;
	import org.apache.hadoop.io.BytesWritable;
	import org.apache.hadoop.io.NullWritable;
	import org.apache.hadoop.mapreduce.InputSplit;
	import org.apache.hadoop.mapreduce.JobContext;
	import org.apache.hadoop.mapreduce.RecordReader;
	import org.apache.hadoop.mapreduce.TaskAttemptContext;
	import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

	import java.io.IOException;

	/**
	 * @email: tazhigang095@163.com
	 * @author: ittzg
	 * @date: 2019/7/7 21:40
	 */
	public class MyFileInputFormat extends FileInputFormat<NullWritable,BytesWritable> {
		@Override
		protected boolean isSplitable(JobContext context, Path filename) {
			return false;
		}

		@Override
		public RecordReader<NullWritable, BytesWritable> createRecordReader(InputSplit split, TaskAttemptContext context) throws IOException, InterruptedException {
			MyRecordReader myRecordReader = new MyRecordReader();
			myRecordReader.initialize(split,context);
			return myRecordReader;
		}
	}
  • MyInputFormatDriver.java 
    	package com.ittzg.hadoop.inputformat;

	import org.apache.hadoop.conf.Configuration;
	import org.apache.hadoop.fs.FileSystem;
	import org.apache.hadoop.fs.Path;
	import org.apache.hadoop.io.BytesWritable;
	import org.apache.hadoop.io.NullWritable;
	import org.apache.hadoop.io.Text;
	import org.apache.hadoop.mapreduce.Job;
	import org.apache.hadoop.mapreduce.Mapper;
	import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
	import org.apache.hadoop.mapreduce.lib.input.FileSplit;
	import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
	import org.apache.hadoop.mapreduce.lib.output.SequenceFileOutputFormat;

	import java.io.IOException;
	import java.net.URI;

	/**
	 * @email: tazhigang095@163.com
	 * @author: ittzg
	 * @date: 2019/7/7 21:45
	 */
	public class MyInputFormatDriver {
		static class MyMapper extends Mapper<NullWritable,BytesWritable,Text,BytesWritable>{
			Text filePath = new Text();
			@Override
			protected void setup(Context context) throws IOException, InterruptedException {
				FileSplit inputSplit = (FileSplit) context.getInputSplit();
				Path path = inputSplit.getPath();
				filePath.set(path.toString());
			}

			@Override
			protected void map(NullWritable key, BytesWritable value, Context context) throws IOException, InterruptedException {
				System.out.println(value);
			   context.write(filePath,value);
			}
		}

		public static void main(String[] args) throws Exception {
			String input = "hdfs://hadoop-ip-101:9000/user/hadoop/inputformat/input";
			String output = "hdfs://hadoop-ip-101:9000/user/hadoop/inputformat/output";

			Configuration conf = new Configuration();
			conf.set("mapreduce.app-submission.cross-platform","true");
			Job job = Job.getInstance(conf);
			job.setJarByClass(MyInputFormatDriver.class);

			job.setInputFormatClass(MyFileInputFormat.class);
			job.setOutputFormatClass(SequenceFileOutputFormat.class);

			job.setOutputKeyClass(Text.class);
			job.setOutputValueClass(BytesWritable.class);

			job.setMapperClass(MyMapper.class);

			FileSystem fs = FileSystem.get(new URI("hdfs://hadoop-ip-101:9000"),conf,"hadoop");
			Path outPath = new Path(output);
			if(fs.exists(outPath)){
				fs.delete(outPath,true);
			}
			FileInputFormat.setInputPaths(job, new Path(input));
			FileOutputFormat.setOutputPath(job, outPath);

			boolean result = job.waitForCompletion(true);

			System.exit(result ? 0 : 1);

		}
	}

四、运行结果

  1. 网页浏览
  2. 文件内容下载浏览

转载于:https://my.oschina.net/ittzg/blog/3070766

chouniti9651
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
自定义InputFormat
后知后觉的it路
12-03 203
    0 引子：   InputFormt的各种实现类是针对不同数据源来定义的， 比如针对文件类型的FileInputFormat ,针对DB的DBInputFormat, 如果数据源是别的样子的，那么该怎么做？ 这时候就需要自定义InputFormat了   参考图：       需要明确的一个流程：   一个split ----&gt; 对应一个map任务， ...
【spark】自定义数据读取的InputFormat（异常：incorrect data check）
lsr40的博客
03-31 2699
其实大多数场景下，各种大数据框架预定义的InputFormat（数据读取器）是够用的，除了一些比较特殊的情况，特殊的数据格式，我们才会需要自定义读取数据的方式。 然后有一天，我在接入一个hdfs上gz格式数据的时候，遇到了一个报错： 仔细看了报错，是输入流在read数据的时候，调用LineRecordReader的nextKeyValue方法报错了，百度了下，没有什么太准确的答案，大致来说...
大数据技术
12-19
本阶段详细介绍了大数据所涉及到的Linux、shell、Hadoop、zookeeper、HadoopHA、Hive、Flume、Kafka、Hbase、Sqoop、Oozie等技术的概念、安装配置、架构原理、数据类型定义、数据操作、存储集群等重点知识点。
Hadoop之自定义输入InputFormat
蒯厅博客
11-02 234
3．程序实现 （1）自定义InputFromat package com.hadoop.mapreduce.inputformat; import java.io.IOException; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.BytesWritable; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.mapreduce.InputS.
FileInputFormat.setInputPaths的执行原理
.
07-11 2978
今天在看 MapReduce 源码的时候看了一下 FileInputFormat 的 setInputPaths 方法，内容如下： /** * Set the array of {@link Path}s as the list of inputs * for the map-reduce job. * * @param job The job to modify ...
大数据开发之自定义InputFormat案例实操
qq_15189171的博客
12-23 141
无论HDFS还是MapReduce，在处理小文件时效率都非常低，但又难免面临处理大量小文件的场景，此时，就需要有相应解决方案。可以自定义InputFormat实现小文件的合并。 1．需求 将多个小文件合并成一个SequenceFile文件（SequenceFile文件是Hadoop用来存储二进制形式的key-value对的文件格式），SequenceFile里面存储着多个文件，存储的形式为文件路径+名称为key，文件内容为value。 （1） 自定义RecordReader类 package MRS.inp
自定义inputFormat&&outputFormat1
08-08
自定义inputFormat&&outputFormat1
SequenceFileKeyValueInputFormat:自定义 Hadoop InputFormat
06-25
Apache Hive 的 InputFormat，在查询 SequenceFiles 时将返回 (Text) 键和 (Text) 值。 我需要在不拆分内容的情况下完整解析大量文本文件。 HDFS 在处理大型连续文件时提供最佳吞吐量，因此我使用 Apache Mahout 将...
自定义MapReduce的InputFormat
10-27
5. **配置和使用自定义InputFormat**：在你的MapReduce作业中，通过设置`job.setInputFormatClass()`方法指定你的自定义InputFormat类。同时，如果需要，你还可以在JobConf中添加额外的配置参数来指导InputFormat和...
2013中国大数据技术大会PPT——阿里搜索流计算技术
12-12
编程接口方面，InputFormat是对Stream Source的操作封装，包括了对数据进行分片拆分的getSplits(Source)方法、为Data Split创建Reader的createReader(Split)方法以及流式读取消息的reader.next()方法。而针对Worker...
大数据MapReduce文件分发
最新发布
05-17
- 当MapReduce作业启动时，JobTracker（在Hadoop 2.x中为ResourceManager）可以将作业配置（包括用户自定义的变量）广播到所有的TaskTracker，这样每个Task都可以访问这些配置信息，而无需在Mapper或Reducer之间...
Idea里面老版本MapReduce设置FileInputFormat参数格式变化 ...
测试0901-1
01-21 383
我们随便百度一个经典的MapReduce程序----wordcount的时候，在设置job文件输入路径和输出路径参数时，会看到别的博主会这么写： Configuration conf = new Configuration(); Job wordCountJob = Job.getInstance(conf); //省略。。。。 FileInputFor...
【Hadoop】48-自定义inputFormat
通往神秘的道路的专栏
09-07 398
1、 需求 无论hdfs还是mapreduce，对于小文件都有损效率，实践中，又难免面临处理大量小文件的场景，此时，就需要有相应解决方案。 2、 分析 小文件的优化无非以下几种方式： 在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS。 在业务处理之前，在HDFS上使用mapreduce程序对小文件进行合并。 在mapreduce处理时，可采用combineInputFor...
自定义InputFormat案例-（合并文件）
TrueDei
02-01 726
引言 无论HDFS还是MapReduce，在处理小文件时效率都是非常低，但又难免面临处理大量小文件的场景，此时，就需要有相应的解决方案。可以自定义InputFormat实现小文件的合并。 需求 将多个小文件合并成一个SequenceFile文件(SequenceFile文件是Hadoop用来存储二进制形式的key-value对的文件格式)，SequenceFile里面存储着多个文件，存储的形式为路...
h264解码之自定义信息（SEI）
热门推荐
学无止尽，谨言慎行！
07-06 3万+
针对h264的解析网上优秀得博文、帖子一抓一大把，我就不在这班门弄斧了，仅仅提取一些自己在用的过程中比较有用的信息，对于sei自定义信息字段，虽然网上信息很多，但不容易精确搜到，就像我之前曾遇到一篇对我个人非常有用的文章，但后面一直找不到，现在再次看到，就把部分提取了出来，记录下，方便自己后面再次用到方便，也看能不能帮助到部分码友。 参考博客：https://www.ji...
hadoop----mapreduce的案例（三）（自定义InputFormat）
WQY992的博客
06-12 499
案例三 将奇数行记录转成key，偶数行转成value从而进行输出 MyRecordReader public class MyRecordReader extends RecordReader<Text, Text>{ private long start; private long end; private LineReader in; private FSDataInpu...
MapReduce中的InputFormat（2）自定义InputFormat
weixin_34055910的博客
12-10 166
1 概述 Hadoop内置的输入文件格式类有： 1）FileInputFormat<K,V>这个是基本的父类，自定义就直接使用它作为父类。 2）TextInputFormat<LongWritable,Text>这个是默认的数据格式类。key代表当前行数据距离文件开始的距离，value代码当前行字符串。 3）SequenceFi...
FileInputFormat详解
空断的博客
07-23 9757
FileInputFormat 详解笔记
FileInputFormat.setInputPaths多路径读取规则
qq_39625998的博客
05-15 5233
FileInputFormat.setInputPaths(job, input1, input2);在读取文件时候，默认先读单个大文件所在的路径（一次性读清该文件下所有文件），后读小文件所在路径。写协同过滤时候，想让setInputPaths方法先读第一个输入路径input1，再读第二个输出路径input2就算把文件位置交换，读取的顺序还是错误public static class myMapp...
Hadoop优化：自定义InputFormat与OutputFormat合并小文件
本案例中，我们关注第二种方法，即通过自定义`InputFormat`来合并小文件。以下是实现步骤： 1. **自定义InputFormat**：首先，我们需要创建一个新的`InputFormat`类，继承自`FileInputFormat, BytesWritable>`。这...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值