FileSplit简单使用

最新推荐文章于 2019-12-10 23:21:40 发布
最新推荐文章于 2019-12-10 23:21:40 发布
阅读量1.8k 收藏
点赞数
分类专栏： 技术-大数据 文章标签： hadoop FileSplit
hadoop的FileSplit简单使用


FileSplit类继承关系：



FileSplit类中的属性和方法：




作业输入：
[java]  view plain  copy
  1. hadoop@hadoop:/home/hadoop/blb$ hdfs dfs -text /user/hadoop/libin/input/inputpath1.txt  
  2. hadoop  a  
  3. spark   a  
  4. hive    a  
  5. hbase   a  
  6. tachyon a  
  7. storm   a  
  8. redis   a  
  9. hadoop@hadoop:/home/hadoop/blb$ hdfs dfs -text /user/hadoop/libin/input/inputpath2.txt  
  10. hadoop  b  
  11. spark   b  
  12. kafka   b  
  13. tachyon b  
  14. oozie   b  
  15. flume   b  
  16. sqoop   b  
  17. solr    b  
  18. hadoop@hadoop:/home/hadoop/blb$   
[java]  view plain  copy
  1. hadoop@hadoop:/home/hadoop/blb$ hdfs dfs -text /user/hadoop/libin/input/inputpath1.txt  
  2. hadoop  a  
  3. spark   a  
  4. hive    a  
  5. hbase   a  
  6. tachyon a  
  7. storm   a  
  8. redis   a  
  9. hadoop@hadoop:/home/hadoop/blb$ hdfs dfs -text /user/hadoop/libin/input/inputpath2.txt  
  10. hadoop  b  
  11. spark   b  
  12. kafka   b  
  13. tachyon b  
  14. oozie   b  
  15. flume   b  
  16. sqoop   b  
  17. solr    b  
  18. hadoop@hadoop:/home/hadoop/blb$   


代码：
[java]  view plain  copy
  1. import java.io.IOException;  
  2.   
  3.   
  4. import org.apache.hadoop.conf.Configuration;  
  5. import org.apache.hadoop.fs.Path;  
  6. import org.apache.hadoop.io.LongWritable;  
  7. import org.apache.hadoop.io.NullWritable;  
  8. import org.apache.hadoop.io.Text;  
  9. import org.apache.hadoop.mapred.SplitLocationInfo;  
  10. import org.apache.hadoop.mapreduce.Job;  
  11. import org.apache.hadoop.mapreduce.Mapper;  
  12. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
  13. import org.apache.hadoop.mapreduce.lib.input.FileSplit;  
  14. import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;  
  15. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
  16. import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;  
  17. import org.apache.hadoop.util.GenericOptionsParser;  
  18.   
  19.   
  20. public class GetSplitMapReduce {  
  21.     public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {  
  22.         Configuration conf = new Configuration();  
  23.         String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();  
  24.         if(otherArgs.length!=2){  
  25.             System.err.println("Usage databaseV1 <inputpath> <outputpath>");  
  26.         }  
  27.   
  28.   
  29.         Job job = Job.getInstance(conf, GetSplitMapReduce.class.getSimpleName() + "1");  
  30.         job.setJarByClass(GetSplitMapReduce.class);  
  31.         job.setMapOutputKeyClass(Text.class);  
  32.         job.setMapOutputValueClass(Text.class);  
  33.         job.setOutputKeyClass(Text.class);  
  34.         job.setOutputValueClass(NullWritable.class);  
  35.         job.setMapperClass(MyMapper1.class);  
  36.         job.setNumReduceTasks(0);  
  37.         job.setInputFormatClass(TextInputFormat.class);  
  38.         job.setOutputFormatClass(TextOutputFormat.class);  
  39.         FileInputFormat.addInputPath(job, new Path(otherArgs[0]));  
  40.         FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));  
  41.         job.waitForCompletion(true);  
  42.     }  
  43.     public static class MyMapper1 extends Mapper<LongWritable, Text, Text, NullWritable>{  
  44.         @Override  
  45.         protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, NullWritable>.Context context)  
  46.                 throws IOException, InterruptedException {  
  47.           
  48.             FileSplit fileSplit=(FileSplit) context.getInputSplit();  
  49.             String pathname=fileSplit.getPath().getName();  //获取目录名字  
  50.             int depth = fileSplit.getPath().depth();    //获取目录深度  
  51.             Class<? extends FileSplit> class1 = fileSplit.getClass(); //获取当前类  
  52.             long length = fileSplit.getLength();    //获取文件长度  
  53.             SplitLocationInfo[] locationInfo = fileSplit.getLocationInfo(); //获取位置信息  
  54.             String[] locations = fileSplit.getLocations();  //获取位置  
  55.             long start = fileSplit.getStart(); //The position of the first byte in the file to process.  
  56.             String string = fileSplit.toString();  
  57.             //fileSplit.  
  58.               
  59.             context.write(new Text("===================================================================================="), NullWritable.get());  
  60.             context.write(new Text("pathname--"+pathname), NullWritable.get());  
  61.             context.write(new Text("depth--"+depth), NullWritable.get());  
  62.             context.write(new Text("class1--"+class1), NullWritable.get());  
  63.             context.write(new Text("length--"+length), NullWritable.get());  
  64.             context.write(new Text("locationInfo--"+locationInfo), NullWritable.get());  
  65.             context.write(new Text("locations--"+locations), NullWritable.get());  
  66.             context.write(new Text("start--"+start), NullWritable.get());  
  67.             context.write(new Text("string--"+string), NullWritable.get());  
  68.         }  
  69.     }  
  70. }  
[java]  view plain  copy
  1. import java.io.IOException;  
  2.   
  3.   
  4. import org.apache.hadoop.conf.Configuration;  
  5. import org.apache.hadoop.fs.Path;  
  6. import org.apache.hadoop.io.LongWritable;  
  7. import org.apache.hadoop.io.NullWritable;  
  8. import org.apache.hadoop.io.Text;  
  9. import org.apache.hadoop.mapred.SplitLocationInfo;  
  10. import org.apache.hadoop.mapreduce.Job;  
  11. import org.apache.hadoop.mapreduce.Mapper;  
  12. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
  13. import org.apache.hadoop.mapreduce.lib.input.FileSplit;  
  14. import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;  
  15. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
  16. import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;  
  17. import org.apache.hadoop.util.GenericOptionsParser;  
  18.   
  19.   
  20. public class GetSplitMapReduce {  
  21.     public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {  
  22.         Configuration conf = new Configuration();  
  23.         String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();  
  24.         if(otherArgs.length!=2){  
  25.             System.err.println("Usage databaseV1 <inputpath> <outputpath>");  
  26.         }  
  27.   
  28.   
  29.         Job job = Job.getInstance(conf, GetSplitMapReduce.class.getSimpleName() + "1");  
  30.         job.setJarByClass(GetSplitMapReduce.class);  
  31.         job.setMapOutputKeyClass(Text.class);  
  32.         job.setMapOutputValueClass(Text.class);  
  33.         job.setOutputKeyClass(Text.class);  
  34.         job.setOutputValueClass(NullWritable.class);  
  35.         job.setMapperClass(MyMapper1.class);  
  36.         job.setNumReduceTasks(0);  
  37.         job.setInputFormatClass(TextInputFormat.class);  
  38.         job.setOutputFormatClass(TextOutputFormat.class);  
  39.         FileInputFormat.addInputPath(job, new Path(otherArgs[0]));  
  40.         FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));  
  41.         job.waitForCompletion(true);  
  42.     }  
  43.     public static class MyMapper1 extends Mapper<LongWritable, Text, Text, NullWritable>{  
  44.         @Override  
  45.         protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, NullWritable>.Context context)  
  46.                 throws IOException, InterruptedException {  
  47.           
  48.             FileSplit fileSplit=(FileSplit) context.getInputSplit();  
  49.             String pathname=fileSplit.getPath().getName();  //获取目录名字  
  50.             int depth = fileSplit.getPath().depth();    //获取目录深度  
  51.             Class<? extends FileSplit> class1 = fileSplit.getClass(); //获取当前类  
  52.             long length = fileSplit.getLength();    //获取文件长度  
  53.             SplitLocationInfo[] locationInfo = fileSplit.getLocationInfo(); //获取位置信息  
  54.             String[] locations = fileSplit.getLocations();  //获取位置  
  55.             long start = fileSplit.getStart(); //The position of the first byte in the file to process.  
  56.             String string = fileSplit.toString();  
  57.             //fileSplit.  
  58.               
  59.             context.write(new Text("===================================================================================="), NullWritable.get());  
  60.             context.write(new Text("pathname--"+pathname), NullWritable.get());  
  61.             context.write(new Text("depth--"+depth), NullWritable.get());  
  62.             context.write(new Text("class1--"+class1), NullWritable.get());  
  63.             context.write(new Text("length--"+length), NullWritable.get());  
  64.             context.write(new Text("locationInfo--"+locationInfo), NullWritable.get());  
  65.             context.write(new Text("locations--"+locations), NullWritable.get());  
  66.             context.write(new Text("start--"+start), NullWritable.get());  
  67.             context.write(new Text("string--"+string), NullWritable.get());  
  68.         }  
  69.     }  
  70. }  



对应inputpath2.txt文件的输出：
[java]  view plain  copy
  1. hadoop@hadoop:/home/hadoop/blb$ hdfs dfs -text /user/hadoop/libin/out2/part-m-00000  
  2. ====================================================================================  
  3. pathname--inputpath2.txt  
  4. depth--5  
  5. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  6. length--66  
  7. locationInfo--null  
  8. locations--[Ljava.lang.String;@4ff41ba0  
  9. start--0  
  10. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66  
  11. ====================================================================================  
  12. pathname--inputpath2.txt  
  13. depth--5  
  14. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  15. length--66  
  16. locationInfo--null  
  17. locations--[Ljava.lang.String;@2341ce62  
  18. start--0  
  19. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66  
  20. ====================================================================================  
  21. pathname--inputpath2.txt  
  22. depth--5  
  23. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  24. length--66  
  25. locationInfo--null  
  26. locations--[Ljava.lang.String;@35549603  
  27. start--0  
  28. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66  
  29. ====================================================================================  
  30. pathname--inputpath2.txt  
  31. depth--5  
  32. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  33. length--66  
  34. locationInfo--null  
  35. locations--[Ljava.lang.String;@4444ba4f  
  36. start--0  
  37. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66  
  38. ====================================================================================  
  39. pathname--inputpath2.txt  
  40. depth--5  
  41. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  42. length--66  
  43. locationInfo--null  
  44. locations--[Ljava.lang.String;@7c23bb8c  
  45. start--0  
  46. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66  
  47. ====================================================================================  
  48. pathname--inputpath2.txt  
  49. depth--5  
  50. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  51. length--66  
  52. locationInfo--null  
  53. locations--[Ljava.lang.String;@dee2400  
  54. start--0  
  55. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66  
  56. ====================================================================================  
  57. pathname--inputpath2.txt  
  58. depth--5  
  59. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  60. length--66  
  61. locationInfo--null  
  62. locations--[Ljava.lang.String;@d7d8325  
  63. start--0  
  64. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66  
  65. ====================================================================================  
  66. pathname--inputpath2.txt  
  67. depth--5  
  68. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  69. length--66  
  70. locationInfo--null  
  71. locations--[Ljava.lang.String;@2b2cf90e  
  72. start--0  
  73. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66  
[java]  view plain  copy
  1. hadoop@hadoop:/home/hadoop/blb$ hdfs dfs -text /user/hadoop/libin/out2/part-m-00000  
  2. ====================================================================================  
  3. pathname--inputpath2.txt  
  4. depth--5  
  5. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  6. length--66  
  7. locationInfo--null  
  8. locations--[Ljava.lang.String;@4ff41ba0  
  9. start--0  
  10. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66  
  11. ====================================================================================  
  12. pathname--inputpath2.txt  
  13. depth--5  
  14. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  15. length--66  
  16. locationInfo--null  
  17. locations--[Ljava.lang.String;@2341ce62  
  18. start--0  
  19. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66  
  20. ====================================================================================  
  21. pathname--inputpath2.txt  
  22. depth--5  
  23. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  24. length--66  
  25. locationInfo--null  
  26. locations--[Ljava.lang.String;@35549603  
  27. start--0  
  28. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66  
  29. ====================================================================================  
  30. pathname--inputpath2.txt  
  31. depth--5  
  32. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  33. length--66  
  34. locationInfo--null  
  35. locations--[Ljava.lang.String;@4444ba4f  
  36. start--0  
  37. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66  
  38. ====================================================================================  
  39. pathname--inputpath2.txt  
  40. depth--5  
  41. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  42. length--66  
  43. locationInfo--null  
  44. locations--[Ljava.lang.String;@7c23bb8c  
  45. start--0  
  46. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66  
  47. ====================================================================================  
  48. pathname--inputpath2.txt  
  49. depth--5  
  50. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  51. length--66  
  52. locationInfo--null  
  53. locations--[Ljava.lang.String;@dee2400  
  54. start--0  
  55. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66  
  56. ====================================================================================  
  57. pathname--inputpath2.txt  
  58. depth--5  
  59. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  60. length--66  
  61. locationInfo--null  
  62. locations--[Ljava.lang.String;@d7d8325  
  63. start--0  
  64. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66  
  65. ====================================================================================  
  66. pathname--inputpath2.txt  
  67. depth--5  
  68. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  69. length--66  
  70. locationInfo--null  
  71. locations--[Ljava.lang.String;@2b2cf90e  
  72. start--0  
  73. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath2.txt:0+66  



对应inputpath1.txt文件的输出：
[java]  view plain  copy
  1. hadoop@hadoop:/home/hadoop/blb$ hdfs dfs -text /user/hadoop/libin/out2/part-m-00001  
  2. ====================================================================================  
  3. pathname--inputpath1.txt  
  4. depth--5  
  5. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  6. length--58  
  7. locationInfo--null  
  8. locations--[Ljava.lang.String;@4ff41ba0  
  9. start--0  
  10. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath1.txt:0+58  
  11. ====================================================================================  
  12. pathname--inputpath1.txt  
  13. depth--5  
  14. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  15. length--58  
  16. locationInfo--null  
  17. locations--[Ljava.lang.String;@2341ce62  
  18. start--0  
  19. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath1.txt:0+58  
  20. ====================================================================================  
  21. pathname--inputpath1.txt  
  22. depth--5  
  23. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  24. length--58  
  25. locationInfo--null  
  26. locations--[Ljava.lang.String;@35549603  
  27. start--0  
  28. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath1.txt:0+58  
  29. ====================================================================================  
  30. pathname--inputpath1.txt  
  31. depth--5  
  32. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  33. length--58  
  34. locationInfo--null  
  35. locations--[Ljava.lang.String;@4444ba4f  
  36. start--0  
  37. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath1.txt:0+58  
  38. ====================================================================================  
  39. pathname--inputpath1.txt  
  40. depth--5  
  41. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  42. length--58  
  43. locationInfo--null  
  44. locations--[Ljava.lang.String;@7c23bb8c  
  45. start--0  
  46. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath1.txt:0+58  
  47. ====================================================================================  
  48. pathname--inputpath1.txt  
  49. depth--5  
  50. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  51. length--58  
  52. locationInfo--null  
  53. locations--[Ljava.lang.String;@dee2400  
  54. start--0  
  55. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath1.txt:0+58  
  56. ====================================================================================  
  57. pathname--inputpath1.txt  
  58. depth--5  
  59. class1--class org.apache.hadoop.mapreduce.lib.input.FileSplit  
  60. length--58  
  61. locationInfo--null  
  62. locations--[Ljava.lang.String;@d7d8325  
  63. start--0  
  64. string--hdfs://hadoop:9000/user/hadoop/libin/input/inputpath1.txt:0+58  
  65. hadoop@hadoop:/home/hadoop/blb$   
爱萨萨
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
文件分割与合并（filesplit）
new_stranger的专栏
05-29 419
工具集包含通用文件分割与合并（filesplit），文本分割与合并（textsplit），Excel表格分割与合并（excelsplit）。 之后根据陆续增加其他格式文件的分割与合并工具。
Linux下的split 命令（将一个大文件根据行数平均分成若干个小文件）
897371388
06-15 946
将一个大文件分成若干个小文件方法 例如将一个BLM.txt文件分成前缀为 BLM_ 的1000个小文件，后缀为系数形式，且后缀为4位数字形式 先利用 wc -l BLM.txt 读出 BLM.txt 文件一共有多少行 再利用 split 命令 split -l 2482 ../BLM/BLM.txt -d -a 4 BLM_ 将 文件 BLM.txt 分成若干个小文件，每个文件2482...
File.split(pathname)
java-admin
11-05 1558
http://www.kuqin.com/rubycndocument/man/built-in-class/class_object_io_file.html     File.split(pathname)&lt;!-- RDLabel: "File.split" --&gt; 将pathname分为dirname和basename，并返回一个包含这两部分的数组。它与 [Fi...
Hadoop 中 FileSplit （文件分割器）的简单使用
beautiful_huang的博客
12-10 1854
FileSplit 分析 FileSplit类继承于InputSplit 属性和方法： 代码使用详解： package com.njbdqn.test; import org.apache.hadoop.mapred.SplitLocationInfo; import org.apache.hadoop.mapreduce.lib.input.FileSplit; import java...
Map/Reduce执行流程
三劫散仙
04-09 184
[b][color=green][size=large]FileSplit:文件的子集--文件分割体 简介： 这篇文档描述在hadoop中map和reduce操作是怎样具体完成的。如果你对Google的MapReduce各式模式不熟悉，请先参阅MapReduce--http://labs.google.com/papers/mapreduce.html Map 由于Ma...
QT文件切割源码（FileSplit）
12-04
QT库中的QIODevice类是进行文件读写的基础，FileSplit可能使用了QFile类，它是QIODevice的一个具体实现，用于操作本地文件。通过打开文件，读取内容，然后将数据写入新的子文件，我们可以实现文件的切割。QFile类...
FileSplit.exe
11-04
为了使用这个工具，用户需要将压缩包解压，然后直接运行 FileSplit.exe 文件。 总的来说，FileSplit.exe 是一个专注于文件分割任务的实用工具，它可能包含各种实用特性来简化大文件的管理和操作。由于没有更多关于...
FileSplit
03-16
FileSplit工具提供了一种简单易用的方式来完成这项任务。用户只需指定待拆分的文件和期望的每个部分的大小，程序会自动进行拆分，生成一系列连续编号的小文件。例如，一个1GB的电影文件可以被拆分为多个100MB的文件...
文件分割合并软件-FileSplit
10-10
使用FileSplit进行文件操作非常简单，界面友好，即便是电脑新手也能快速上手。软件提供的直观向导和清晰的步骤指示，使得无论是分割还是合并文件，都能在几步之内完成，极大地提升了工作效率。 在安全方面，...
FileSplit 文件切割
08-11
8. **用户界面**：一个友好的用户界面可以使文件切割操作变得简单直观。"FileSplit.exe" 应该提供清晰的操作步骤和选项，让用户轻松完成文件的切割和合并。 9. **批处理功能**：对于需要处理大量文件的情况，批量...
文件分割合并器FileSplit
08-28
文件分割合并器FileSplit,非常好用的文件分割软件.
FileSplit安装包
05-19
大文件分割实现源码，使用QT开发，带界面，觉得界面不好看，可以下载源码修改，重新编译。
fileSplit.exe
09-02
FileSplit 文件分割工具。可以对任意类型、任意大小的文件进行分割（合并）；操作简便，拖动任意文件至工具，一键分割。拖动分割后的文件，一键还原。
filesplit
08-20
professional-apache-tomcat-6-wrox-professional-guides<br>文件合并工具<br>professional-apache-tomcat-6.3h0<br>professional-apache-tomcat-6.3h1
hadoop的FileSplit简单使用
鲍礼彬的CSDN博客 ~_~
03-30 8197
hadoop的FileSplit简单使用 FileSplit类继承关系： FileSplit类中的属性和方法： 作业输入： hadoop@hadoop:/home/hadoop/blb$ hdfs dfs -text /user/hadoop/libin/input/inputpath1.txt hadoop a spark a hive
Python 深度学习模型训练数据预处理 批文件重命名 os.listdir方法 os.rename方法 file.spilt方法
YZXnuaa的博客
01-15 611
批文件重命名 # # !/usr/bin/env python # # 2.py # # use UTF-8 # # Python 3.6.0 import os path = '/home/ubuntu/图片/data_anti/4' count = 1 for file in os.listdir(path): os.rename(os.path.join(path,fil
大数据学习之路16-倒排索引创建，输入切片FileSplit应用
爱米酱的博客
08-16 345
我们需要将文本使用mapreduce整理成需求的样子。也就是单词加文件名的样子，那我们又怎么能知道map方法现在调用的这行数据属于哪个文件呢？调用这个方法的是mapworker,而且调用这个map方法的还不止一个worker。虽然调用map方法的有很多worker但是，每个worker再调用方法的时候都会传一个context而这个context就包含了这个worker正在读的数据属于哪个文件。...
hadoop FileSplit
weixin_30466421的博客
07-20 152
/** A section of an input file. Returned by {@link * InputFormat#getSplits(JobContext)} and passed to * {@link InputFormat#createRecordReader(InputSplit,TaskAttemptContext)}. * * 文件的一部分，通...
使用Hadoop 读取大文件，代码怎么写？
最新发布
04-19
以下是使用Hadoop读取大文件的Java代码示例： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值