hadoop的FileSplit简单使用

最新推荐文章于 2021-05-29 14:47:55 发布
最新推荐文章于 2021-05-29 14:47:55 发布
阅读量8.1k 收藏 4
点赞数
分类专栏： Bigdatda-Hadoop 文章标签： hadoop的FileSplit简单使用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baolibin528/article/details/51011397
版权
hadoop的FileSplit简单使用


FileSplit类继承关系：



FileSplit类中的属性和方法：




作业输入： 
hadoop@hadoop:/home/hadoop/blb$ hdfs dfs -text /user/hadoop/libin/input/inputpath1.txt
hadoop  a
spark   a
hive    a
hbase   a
tachyon a
storm   a
redis   a
hadoop@hadoop:/home/hadoop/blb$ hdfs dfs -text /user/hadoop/libin/input/inputpath2.txt
hadoop  b
spark   b
kafka   b
tachyon b
oozie   b
flume   b
sqoop   b
solr    b
hadoop@hadoop:/home/hadoop/blb$


代码： 
import java.io.IOException;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.SplitLocationInfo;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;


public class GetSplitMapReduce {
	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
		Configuration conf = new Configuration();
		String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
		if(otherArgs.length!=2){
			System.err.println("Usage databaseV1 <inputpath> <outputpath>");
		}


		Job job = Job.getInstance(conf, GetSplitMapReduce.class.getSimpleName() + "1");
		job.setJarByClass(GetSplitMapReduce.class);
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(Text.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(NullWritable.class);
		job.setMapperClass(MyMapper1.class);
		job.setNumReduceTasks(0);
		job.setInputFormatClass(TextInputFormat.class);
		job.setOutputFormatClass(TextOutputFormat.class);
		FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
		FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
		job.waitForCompletion(true);
	}
	public static class MyMapper1 extends Mapper<LongWritable, Text, Text, NullWritable>{
		@Override
		protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, NullWritable>.Context context)
				throws IOException, InterruptedException {
		
			FileSplit fileSplit=(FileSplit) context.getInputSplit();
			String pathname=fileSplit.getPath().getName();	//获取目录名字
			int depth = fileSplit.getPath().depth();	//获取目录深度
			Class<? extends FileSplit> class1 = fileSplit.getClass(); //获取当前类
			long length = fileSplit.getLength();	//获取文件长度
			SplitLocationInfo[] locationInfo = fileSplit.getLocationInfo();	//获取位置信息
			String[] locations = fileSplit.getLocations();	//获取位置
			long start = fileSplit.getStart(); //The position of the first byte in the file to process.
			String string = fileSplit.toString();
			//fileSplit.
			
			context.write(new Text("===================================================================================="), NullWritable.get());
			context.write(new Text("pathname--"+pathname), NullWritable.get());
			context.write(new Text("depth--"+depth), NullWritable.get());
			context.write(new Text("class1--"+class1), NullWritable.get());
			context.write(new Text("length--"+length), NullWritable.get());
			context.write(new Text("locationInfo--"+locationInfo), NullWritable.get());
			context.write(new Text("locations--"+locations), NullWritable.get());
			context.write(new Text("start--"+start), NullWritable.get());
			context.write(new Text("string--"+string), NullWritable.get());
		}
	}
}



对应inputpath2.txt文件的输出： 
hadoop@hadoop:/home/hadoop/blb$ hdfs dfs -text /user/hadoop/libin/out2/part-m-00000
====================================================================================
pathname--inputpath2.txt
depth--5
class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit
length--66
locationInfo--null
locations--[Ljava.lang.String;@4ff41ba0
start--0
string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66
====================================================================================
pathname--inputpath2.txt
depth--5
class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit
length--66
locationInfo--null
locations--[Ljava.lang.String;@2341ce62
start--0
string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66
====================================================================================
pathname--inputpath2.txt
depth--5
class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit
length--66
locationInfo--null
locations--[Ljava.lang.String;@35549603
start--0
string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66
====================================================================================
pathname--inputpath2.txt
depth--5
class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit
length--66
locationInfo--null
locations--[Ljava.lang.String;@4444ba4f
start--0
string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66
====================================================================================
pathname--inputpath2.txt
depth--5
class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit
length--66
locationInfo--null
locations--[Ljava.lang.String;@7c23bb8c
start--0
string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66
====================================================================================
pathname--inputpath2.txt
depth--5
class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit
length--66
locationInfo--null
locations--[Ljava.lang.String;@dee2400
start--0
string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66
====================================================================================
pathname--inputpath2.txt
depth--5
class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit
length--66
locationInfo--null
locations--[Ljava.lang.String;@d7d8325
start--0
string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66
====================================================================================
pathname--inputpath2.txt
depth--5
class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit
length--66
locationInfo--null
locations--[Ljava.lang.String;@2b2cf90e
start--0
string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66



对应inputpath1.txt文件的输出： 
hadoop@hadoop:/home/hadoop/blb$ hdfs dfs -text /user/hadoop/libin/out2/part-m-00001
====================================================================================
pathname--inputpath1.txt
depth--5
class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit
length--58
locationInfo--null
locations--[Ljava.lang.String;@4ff41ba0
start--0
string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath1.txt:0+58
====================================================================================
pathname--inputpath1.txt
depth--5
class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit
length--58
locationInfo--null
locations--[Ljava.lang.String;@2341ce62
start--0
string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath1.txt:0+58
====================================================================================
pathname--inputpath1.txt
depth--5
class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit
length--58
locationInfo--null
locations--[Ljava.lang.String;@35549603
start--0
string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath1.txt:0+58
====================================================================================
pathname--inputpath1.txt
depth--5
class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit
length--58
locationInfo--null
locations--[Ljava.lang.String;@4444ba4f
start--0
string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath1.txt:0+58
====================================================================================
pathname--inputpath1.txt
depth--5
class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit
length--58
locationInfo--null
locations--[Ljava.lang.String;@7c23bb8c
start--0
string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath1.txt:0+58
====================================================================================
pathname--inputpath1.txt
depth--5
class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit
length--58
locationInfo--null
locations--[Ljava.lang.String;@dee2400
start--0
string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath1.txt:0+58
====================================================================================
pathname--inputpath1.txt
depth--5
class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit
length--58
locationInfo--null
locations--[Ljava.lang.String;@d7d8325
start--0
string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath1.txt:0+58
hadoop@hadoop:/home/hadoop/blb$


礼彬fly
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
FileSplit 文件切割
08-11
文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割
Hadoop 2.6.0 FileSplit和InputSplit和FileInputFormat
weixin_30268071的博客
04-22 171
InputSplit 有三个方法 1.getLengh(),为了获取字节长度 2.getLocations()，获取地址，在哪个节点 3.该方法返回空，返回类型是可支持在内存中存储，或者磁盘存储。可以看出未来mapreduce有希望支持内存存储数据。 @Evolving public SplitLocationInfo[] getLocationInfo() throws IOExce...
hadoop FileSplit
weixin_30466421的博客
07-20 150
/** A section of an input file. Returned by {@link * InputFormat#getSplits(JobContext)} and passed to * {@link InputFormat#createRecordReader(InputSplit,TaskAttemptContext)}. * * 文件的一部分，通...
Hadoop 中 FileSplit （文件分割器）的简单使用
beautiful_huang的博客
12-10 1847
FileSplit 分析 FileSplit类继承于InputSplit 属性和方法： 代码使用详解： package com.njbdqn.test; import org.apache.hadoop.mapred.SplitLocationInfo; import org.apache.hadoop.mapreduce.lib.input.FileSplit; import java...
当Hadoop遇上小文件
xtqve的专栏
08-27 617
1、什么是小文件？ 小文件就是指那些小于hdfs一个block大小的文件。 2、这样的文件hadoop支持怎么样？ 小文件会给hadoop的扩展性和性能带来严重问题。小文件在hadoop中主要存在两个方面的问题，一个是hdfs存储，一个是mapreduce计算。 hdfs中，任何block，文件或目录在内存中均以对象的方式存储，一个对象的大小是150kb，那么一千万个文件就需要2G的内存，
使用Hadoop构建云计算平台
07-23
资源名称：使用Hadoop构建云计算平台内容简介：• 核心框架： HDFS和MapReduce• MapReduce — 任务的分解与结果的汇总• HDFS — Hadoop Distributed File System• — 分布式计算的基石Hadoop是一个Apache的开源...
结合使用Hadoop和Couchbase
03-02
但是，通过与CouchbaseServer集成，您可以对信息执行实时查询和报告，同时继续使用Hadoop处理大型数据集和数据集的繁重处理工作。CouchbaseServer还使用了一个MapReduce查询系统，这使您能够轻松地迁移和集成索引和...
Hadoop简单应用案例
06-04
这个"**Hadoop简单应用案例**"涵盖了Hadoop生态系统中的多个关键组件，包括MapReduce、HDFS、Zookeeper以及Hive，这些都是大数据处理的核心工具。下面将详细讲解这些知识点。 1. **MapReduce**：MapReduce是Hadoop...
学习使用：学习hadoop使用
04-10
因为包比较大，所以放在文档里面。分别是SDK_linux和HADOOP，文档里面的地址如果不可以使用了，请私信我。
fileSplit.exe
09-02
FileSplit 文件分割工具。可以对任意类型、任意大小的文件进行分割（合并）；操作简便，拖动任意文件至工具，一键分割。拖动分割后的文件，一键还原。
文件分割合并器FileSplit
08-28
文件分割合并器FileSplit,非常好用的文件分割软件.
FileSplit安装包
05-19
大文件分割实现源码，使用QT开发，带界面，觉得界面不好看，可以下载源码修改，重新编译。
Map/Reduce执行流程
三劫散仙
04-09 180
[b][color=green][size=large]FileSplit:文件的子集--文件分割体 简介： 这篇文档描述在hadoop中map和reduce操作是怎样具体完成的。如果你对Google的MapReduce各式模式不熟悉，请先参阅MapReduce--http://labs.google.com/papers/mapreduce.html Map 由于Ma...
工作采坑札记：4. Hadoop获取InputSplit文件信息
debang2014010的专栏
09-25 217
1. 场景 　　基于客户的数据处理需求，客户分发诸多小数据文件，文件每行代表一条记录信息，且每个文件以"类型_yyyyMMdd_批次号"命名。由于同一条记录可能存在于多个文件中，且处于多个文件中的相同记录最终只有时间最新的记录有效，但文件的每行记录并未提供时间信息，因此需要从每个文件名中提取时间信息作为文件每行记录信息。 　　因此，考虑到小文件数量较多，且数据总量近千万级别，因此借助...
hadoop中小文件处理
万磁王的博客
01-18 385
为什么hdfs不适合小文件的存储？ 1.因namenode将文件系统的元数据存放在内存中，因此存储的文件数目受限于 namenode的内存大小。HDFS中每个文件、目录、数据块占用150Bytes。如果存放1million的文件至少消耗300MB内存，如果要存 放1billion的文件数目的话会超出硬件能力 2.HDFS适用于高吞吐量，而不适合低时间延迟的访问。如果同时存入1million的f
文件分割与合并（filesplit）
new_stranger的专栏
05-29 391
工具集包含通用文件分割与合并（filesplit），文本分割与合并（textsplit），Excel表格分割与合并（excelsplit）。 之后根据陆续增加其他格式文件的分割与合并工具。
Hadoop_HDFS 小文件
dream a coder
11-05 934
小文件是指文件size小于HDFS上block大小的文件, 在HDFS中,任何Block,文件或者目录在内存中均以对象的形式存储, 每个对象约占150B 如果有10,000,000 个小文件每个文件占用一个block,则namenode大约需要2G的空间,存储1亿个文件则namenode需要20G空间, 访问大量小文件,需要不断从一个datanode跳到另一个datanode,严重影响性能,每一
FileSplit简单使用
06-06 1860
hadoop的FileSplit简单使用FileSplit类继承关系：FileSplit类中的属性和方法：作业输入：[java] view plain copyhadoop@hadoop:/home/hadoop/blb$ hdfs dfs -text /user/hadoop/libin/input/inputpath1.txt  hadoop  a  spark   a  hive    a ...
Hadoop使用CombineFileInputFormat处理大量小文件接口实现（Hadoop-1.0.4）
05-28 4148
Configuration设置块大小64M Configuration conf = new Configuration(); conf.setLong(MyCombineFileInputFormat.SPLIT_MINSIZE_PERNODE, 64 * 1024 * 1024); conf.setLong(MyCombineFileInputFormat.SPLIT_MINSIZE
hadoop中无法使用hadoop
最新发布
09-24
在hadoop中无法使用hadoop命令的原因是JAVA_HOME环境变量设置错误。要解决这个问题，您可以检查JAVA_HOME环境变量是否正确设置，并确保它指向正确的Java安装路径。另外，您还可以尝试修改hadoop/conf目录中的core-...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值