hadoop的filesplit

最新推荐文章于 2021-02-28 11:43:22 发布
最新推荐文章于 2021-02-28 11:43:22 发布
阅读量1k 收藏
点赞数
分类专栏： DB技术&&数仓技术 文章标签： hadoop
hadoop的FileSplit简单使用


FileSplit类继承关系：



FileSplit类中的属性和方法：




作业输入：
[java]  view plain  copy
 print ? 在CODE上查看代码片 派生到我的代码片
  1. hadoop@hadoop:/home/hadoop/blb$ hdfs dfs -text /user/hadoop/libin/input/inputpath1.txt  
  2. hadoop  a  
  3. spark   a  
  4. hive    a  
  5. hbase   a  
  6. tachyon a  
  7. storm   a  
  8. redis   a  
  9. hadoop@hadoop:/home/hadoop/blb$ hdfs dfs -text /user/hadoop/libin/input/inputpath2.txt  
  10. hadoop  b  
  11. spark   b  
  12. kafka   b  
  13. tachyon b  
  14. oozie   b  
  15. flume   b  
  16. sqoop   b  
  17. solr    b  
  18. hadoop@hadoop:/home/hadoop/blb$   


代码：
[java]  view plain  copy
 print ? 在CODE上查看代码片 派生到我的代码片
  1. import java.io.IOException;  
  2.   
  3.   
  4. import org.apache.hadoop.conf.Configuration;  
  5. import org.apache.hadoop.fs.Path;  
  6. import org.apache.hadoop.io.LongWritable;  
  7. import org.apache.hadoop.io.NullWritable;  
  8. import org.apache.hadoop.io.Text;  
  9. import org.apache.hadoop.mapred.SplitLocationInfo;  
  10. import org.apache.hadoop.mapreduce.Job;  
  11. import org.apache.hadoop.mapreduce.Mapper;  
  12. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
  13. import org.apache.hadoop.mapreduce.lib.input.FileSplit;  
  14. import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;  
  15. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
  16. import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;  
  17. import org.apache.hadoop.util.GenericOptionsParser;  
  18.   
  19.   
  20. public class GetSplitMapReduce {  
  21.     public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {  
  22.         Configuration conf = new Configuration();  
  23.         String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();  
  24.         if(otherArgs.length!=2){  
  25.             System.err.println("Usage databaseV1 <inputpath> <outputpath>");  
  26.         }  
  27.   
  28.   
  29.         Job job = Job.getInstance(conf, GetSplitMapReduce.class.getSimpleName() + "1");  
  30.         job.setJarByClass(GetSplitMapReduce.class);  
  31.         job.setMapOutputKeyClass(Text.class);  
  32.         job.setMapOutputValueClass(Text.class);  
  33.         job.setOutputKeyClass(Text.class);  
  34.         job.setOutputValueClass(NullWritable.class);  
  35.         job.setMapperClass(MyMapper1.class);  
  36.         job.setNumReduceTasks(0);  
  37.         job.setInputFormatClass(TextInputFormat.class);  
  38.         job.setOutputFormatClass(TextOutputFormat.class);  
  39.         FileInputFormat.addInputPath(job, new Path(otherArgs[0]));  
  40.         FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));  
  41.         job.waitForCompletion(true);  
  42.     }  
  43.     public static class MyMapper1 extends Mapper<LongWritable, Text, Text, NullWritable>{  
  44.         @Override  
  45.         protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, NullWritable>.Context context)  
  46.                 throws IOException, InterruptedException {  
  47.           
  48.             FileSplit fileSplit=(FileSplit) context.getInputSplit();  
  49.             String pathname=fileSplit.getPath().getName();  //获取目录名字  
  50.             int depth = fileSplit.getPath().depth();    //获取目录深度  
  51.             Class<? extends FileSplit> class1 = fileSplit.getClass(); //获取当前类  
  52.             long length = fileSplit.getLength();    //获取文件长度  
  53.             SplitLocationInfo[] locationInfo = fileSplit.getLocationInfo(); //获取位置信息  
  54.             String[] locations = fileSplit.getLocations();  //获取位置  
  55.             long start = fileSplit.getStart(); //The position of the first byte in the file to process.  
  56.             String string = fileSplit.toString();  
  57.             //fileSplit.  
  58.               
  59.             context.write(new Text("===================================================================================="), NullWritable.get());  
  60.             context.write(new Text("pathname--"+pathname), NullWritable.get());  
  61.             context.write(new Text("depth--"+depth), NullWritable.get());  
  62.             context.write(new Text("class1--"+class1), NullWritable.get());  
  63.             context.write(new Text("length--"+length), NullWritable.get());  
  64.             context.write(new Text("locationInfo--"+locationInfo), NullWritable.get());  
  65.             context.write(new Text("locations--"+locations), NullWritable.get());  
  66.             context.write(new Text("start--"+start), NullWritable.get());  
  67.             context.write(new Text("string--"+string), NullWritable.get());  
  68.         }  
  69.     }  
  70. }  



对应inputpath2.txt文件的输出：
[java]  view plain  copy
 print ? 在CODE上查看代码片 派生到我的代码片
  1. hadoop@hadoop:/home/hadoop/blb$ hdfs dfs -text /user/hadoop/libin/out2/part-m-00000  
  2. ====================================================================================  
  3. pathname--inputpath2.txt  
  4. depth--5  
  5. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  6. length--66  
  7. locationInfo--null  
  8. locations--[Ljava.lang.String;@4ff41ba0  
  9. start--0  
  10. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66  
  11. ====================================================================================  
  12. pathname--inputpath2.txt  
  13. depth--5  
  14. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  15. length--66  
  16. locationInfo--null  
  17. locations--[Ljava.lang.String;@2341ce62  
  18. start--0  
  19. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66  
  20. ====================================================================================  
  21. pathname--inputpath2.txt  
  22. depth--5  
  23. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  24. length--66  
  25. locationInfo--null  
  26. locations--[Ljava.lang.String;@35549603  
  27. start--0  
  28. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66  
  29. ====================================================================================  
  30. pathname--inputpath2.txt  
  31. depth--5  
  32. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  33. length--66  
  34. locationInfo--null  
  35. locations--[Ljava.lang.String;@4444ba4f  
  36. start--0  
  37. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66  
  38. ====================================================================================  
  39. pathname--inputpath2.txt  
  40. depth--5  
  41. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  42. length--66  
  43. locationInfo--null  
  44. locations--[Ljava.lang.String;@7c23bb8c  
  45. start--0  
  46. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66  
  47. ====================================================================================  
  48. pathname--inputpath2.txt  
  49. depth--5  
  50. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  51. length--66  
  52. locationInfo--null  
  53. locations--[Ljava.lang.String;@dee2400  
  54. start--0  
  55. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66  
  56. ====================================================================================  
  57. pathname--inputpath2.txt  
  58. depth--5  
  59. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  60. length--66  
  61. locationInfo--null  
  62. locations--[Ljava.lang.String;@d7d8325  
  63. start--0  
  64. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66  
  65. ====================================================================================  
  66. pathname--inputpath2.txt  
  67. depth--5  
  68. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  69. length--66  
  70. locationInfo--null  
  71. locations--[Ljava.lang.String;@2b2cf90e  
  72. start--0  
  73. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66  



对应inputpath1.txt文件的输出：
[java]  view plain  copy
 print ? 在CODE上查看代码片 派生到我的代码片
  1. hadoop@hadoop:/home/hadoop/blb$ hdfs dfs -text /user/hadoop/libin/out2/part-m-00001  
  2. ====================================================================================  
  3. pathname--inputpath1.txt  
  4. depth--5  
  5. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  6. length--58  
  7. locationInfo--null  
  8. locations--[Ljava.lang.String;@4ff41ba0  
  9. start--0  
  10. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath1.txt:0+58  
  11. ====================================================================================  
  12. pathname--inputpath1.txt  
  13. depth--5  
  14. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  15. length--58  
  16. locationInfo--null  
  17. locations--[Ljava.lang.String;@2341ce62  
  18. start--0  
  19. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath1.txt:0+58  
  20. ====================================================================================  
  21. pathname--inputpath1.txt  
  22. depth--5  
  23. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  24. length--58  
  25. locationInfo--null  
  26. locations--[Ljava.lang.String;@35549603  
  27. start--0  
  28. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath1.txt:0+58  
  29. ====================================================================================  
  30. pathname--inputpath1.txt  
  31. depth--5  
  32. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  33. length--58  
  34. locationInfo--null  
  35. locations--[Ljava.lang.String;@4444ba4f  
  36. start--0  
  37. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath1.txt:0+58  
  38. ====================================================================================  
  39. pathname--inputpath1.txt  
  40. depth--5  
  41. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  42. length--58  
  43. locationInfo--null  
  44. locations--[Ljava.lang.String;@7c23bb8c  
  45. start--0  
  46. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath1.txt:0+58  
  47. ====================================================================================  
  48. pathname--inputpath1.txt  
  49. depth--5  
  50. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  51. length--58  
  52. locationInfo--null  
  53. locations--[Ljava.lang.String;@dee2400  
  54. start--0  
  55. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath1.txt:0+58  
  56. ====================================================================================  
  57. pathname--inputpath1.txt  
  58. depth--5  
  59. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  60. length--58  
  61. locationInfo--null  
  62. locations--[Ljava.lang.String;@d7d8325  
  63. start--0  
  64. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath1.txt:0+58  
  65. hadoop@hadoop:/home/hadoop/blb$   
hadoop集群搭建与使用
04-14 246
本文涉及到vm的安装、网络互联、免密登录、hadoop集群搭建、java整合Hadoop进行单词统计、去重、流量统计、分区输出、join操作等。以及在此期间出现的错误和解决方案
Hadoop整合
weixin_52181177的博客
10-25 1422
文章目录Hadoop整合1、Hadoop介绍2、Hadoop集群2.1、Hadoop集群（HDFS、YARN）2.2、MapReduce架构2.3、HDFS、YARN、MapReduce三者间关系和大数据技术生态体系2.4、Hadoop部署模式2.5、Hadoop源码编译2.6、Hadoop运行环境搭建(重点)2.6.1、安装虚拟机VMware2.6.2、配置VM、虚拟机和安装Centos2.6.3、配置VM、Win10、虚拟机的IP2.6.4、修改主机名和映射host文件2.6.5、远程终端工具安装-xs
FileSplit简单使用
czx1994306的博客
01-30 1万+
 hadoop的FileSplit简单使用 FileSplit类继承关系： FileSplit类中的属性和方法： 作业输入： [java] view plain copy print? hadoop@hadoop:/home/hadoop/blb$ hdfs dfs -text /user/hadoop/lib
filesplit
08-20
professional-apache-tomcat-6-wrox-professional-guides<br>文件合并工具<br>professional-apache-tomcat-6.3h0<br>professional-apache-tomcat-6.3h1
hadoop FileSplit
weixin_30466421的博客
07-20 172
/** A section of an input file. Returned by {@link * InputFormat#getSplits(JobContext)} and passed to * {@link InputFormat#createRecordReader(InputSplit,TaskAttemptContext)}. * * 文件的一部分，通...
Hadoop 2.6.0 FileSplit和InputSplit和FileInputFormat
weixin_30268071的博客
04-22 188
InputSplit 有三个方法 1.getLengh(),为了获取字节长度 2.getLocations()，获取地址，在哪个节点 3.该方法返回空，返回类型是可支持在内存中存储，或者磁盘存储。可以看出未来mapreduce有希望支持内存存储数据。 @Evolving public SplitLocationInfo[] getLocationInfo() throws IOExce...
Hadoop 中 FileSplit （文件分割器）的简单使用
beautiful_huang的博客
12-10 1926
FileSplit 分析 FileSplit类继承于InputSplit 属性和方法： 代码使用详解： package com.njbdqn.test; import org.apache.hadoop.mapred.SplitLocationInfo; import org.apache.hadoop.mapreduce.lib.input.FileSplit; import java...
hadoop之数据分片（split）详解以及map数量控制
君永夜
04-07 5617
1.分片（splits）相关概念 由InputFormat这个接口来定义的，其中有个getSplits方法。这里有一个新的概念：fileSplit。每个map处理一个fileSplit，所以有多少个fileSplit就有多少个map（map数并不是单纯的由用户设置决定的）。 我们来看一下hadoop分片splits的源码： long goalSize = totalSize / (numSplit...
大数据实验报告Hadoop编程实现InvertedIndex文档倒排索引程序附源码.doc
12-06
+ 获得所属的FileSplit对象，得到文档名信息 + 将单词和文档名进行组合，作为输出的key;并把词频初始化为1，作为输出的value。 * Combine过程的设计： + 对相同的key的value进行加和，得到单词在一个文档下的...
hadoop source code归档
09-23
HDFS源代码中包含了许多关键类，如`NameNode`负责元数据管理，`DataNode`存储实际数据，以及`Block`和`FileSplit`等概念。 2. **MapReduce**：MapReduce是一种编程模型，用于大规模数据集的并行计算。它将大型任务...
hadoop的FileSplit简单使用
鲍礼彬的CSDN博客 ~_~
03-30 8240
hadoop的FileSplit简单使用 FileSplit类继承关系： FileSplit类中的属性和方法： 作业输入： hadoop@hadoop:/home/hadoop/blb$ hdfs dfs -text /user/hadoop/libin/input/inputpath1.txt hadoop a spark a hive
hadoop之split
sunshine_pb的专栏
09-09 1066
1. split大小的计算公式 　　　minSize=max{minSplitSize,mapred.min.split.size} （minSplitSize大小默认为1B） 　　　maxSize=mapred.max.split.size（不在配置文件中指定时大小为Long.MAX_VALUE） 　　　splitSize=max{minSize,min{maxSize,blo
Hadoop之split
jyf211314的专栏
06-14 5458
文件上传至HDFS之前,InputFormat接口的getSplits方法会将文件划分切割成为若干个可序列化的split 一个大数据的文件一般要划分为若干个split，因此，处理一个split的时间远远小于处理整个大数据文件的时间，根据木桶效应，整个Map处理的速度则是由群集中所有运行map节点的最慢的那个节点决定，如果将splits分成较为细粒度的数据大小，而同时对不同的节点计算机根据其速度分
hadoop split 分片
潇洒人生的博客
04-04 613
hadoop split 分片splitFileInputFormat split Hadoop中block块大小和split切片大小会影响到MapReduce程序在运行过程中的效率、map的个数。 通过例子 debug 查看hadoop中split的计算方法是怎么设计的。 FileInputFormat FileInputFormat类在org.apache.hadoop.mapreduce.l...
Hadoop中分片split的原理解析
jinYwuM的博客
08-06 4299
一、定义 1、block：block是物理切块，在文件上传到HDFS文件系统后，对大文将以每128MB的大小切分若干，存放在不同的DataNode上； 2、split：split是逻辑切片，在mapreduce中的map task开始之前，将文件按照指定的大小切割成若干个部分，每一部分称为一个split，默认是split的大小与block的大小相等，均为128MB。 注意：在hadoop1....
FileSplit 文件切割
08-11
文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割文件切割
java hadoop getmerge_hadoop文件合并
weixin_28887297的博客
02-28 1362
众所周知，Hadoop对处理单个大文件比处理多个小文件更有效率，另外单个文件也非常占用HDFS的存储空间。所以往往要将其合并起来。1，getmergehadoop有一个命令行工具getmerge，用于将一组HDFS上的文件复制到本地计算机以前进行合并参考：http://hadoop.apache.org/common/docs/r0.19.2/cn/hdfs_shell.html使用方法：hado...
Hadoop是怎么分块的
朝着梦想 渐行前进
02-02 2064
可以结合之前转过的一篇文章一起看 http://blog.csdn.net/wh62592855/article/details/6583364 ######################################################## hadoop的分块有两部分，其中第一部分更为人熟知一点。   第一部分就是数据的划分（即把File划分成Block），这个是物
（三）hadoop中FileInputFormat类的getSplits获取InputSplit的过程
阿珂学编程
09-22 3925
FileInputFormat继承了抽象类InputFormat，来看一下InputFormat的源码：public abstract class InputFormat<K, V> { public abstract List<InputSplit> getSplits(JobContext context) throws IOException, InterruptedExcept
java中File类的getPath()、getAbsolutePath()以及getCanonicalPath()的用法和区别
热门推荐
ASN_forever的博客
06-11 1万+
getPath():基本语法：public String getPath()，直接返回此抽象路径名的路径名字符串。注意：返回的是定义时的路径，可能是相对路径，也可能是绝对路径，这个取决于定义时用的是相对路径还是绝对路径。如果定义时用的是绝对路径，那么使用getPath()返回的结果跟用getAbsolutePath()返回的结果一样getAbsolutePath():基本语法：public Str...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值