自定义MapReduce的InputFormat，提取指定开始与结束限定符间的内容

最新推荐文章于 2022-12-05 14:19:50 发布
最新推荐文章于 2022-12-05 14:19:50 发布
阅读量757 收藏
点赞数
分类专栏： hadoop

转：http://blog.csdn.net/kent7306/article/details/49443899


一、需求：

在编写MapReduce程序时，常用的TextInputFormat是以换行符作为Record分隔符的，即该行的内容作为MapReduce中map方法中的value，而该行头在文件中的偏移值作为key。

但是在实际应用中，我们在提取日志内容时，有可能遇到一条Record包含多行的情况，并且要提取字段开始限定符到结束限定符的情况，如下。

[html] view plain copy print ?
  1. 2015/09/01 12:23:12 435[INFO]: xxxxx.xxx.xxx：  
  2. <xml>  
  3.     …  
  4. <xml>  
  5. 2015/09/01 12:23:12 735[INFO]: xxxxx.xxx.xxx：  
  6. …  
  7. 2015/09/01 12:23:13 835[INFO]: xxxxx.xxx.xxx：  
  8. <xml>  
  9.     …  
  10. <xml>  
  11. 2015/09/01 12:23:13 835[INFO]: xxxxx.xxx.xxx：  
  12. <xml>  
  13.     …  
  14. <xml>  
2015/09/01 12:23:12 435[INFO]: xxxxx.xxx.xxx：
<xml>
	…
<xml>
2015/09/01 12:23:12 735[INFO]: xxxxx.xxx.xxx：
…
2015/09/01 12:23:13 835[INFO]: xxxxx.xxx.xxx：
<xml>
	…
<xml>
2015/09/01 12:23:13 835[INFO]: xxxxx.xxx.xxx：
<xml>
	…
<xml>


我们要提取得到：

[html] view plain copy print ?
  1. <xml>  
  2.          …  
  3. <xml>  
  4. <xml>  
  5.          …  
  6. <xml>  
  7. <xml>  
  8.          …  
  9. <xml>  
<xml>
         …
<xml>
<xml>
         …
<xml>
<xml>
         …
<xml>


二、相关类的UML图及TextInputFormat流程：

这时候就要自定义自己的InputFormat来完成这个功能。其中涉及到的类如下，其中黑色的类是org.apache.Hadoop.mapreduce.lib.input的源码，蓝色的类是对应左边新创建的类。



TextInputFormat对文件处理流程


三、各个自定义类说明

1、MInputFormat.java

说明：该类ctrl+v了org.apache.hadoop.mapreduce.lib.input.TextInputFormat, 调整了以下方法：

[java] view plain copy print ?
  1. @Override  
  2.  //把开始与结束的限定符从configuration中读取，再传人到MeacorderRdader中  
  3.  public RecordReader<LongWritable, Text>   
  4.    createRecordReader(InputSplit split,  
  5.                       TaskAttemptContext context) {  
  6. //record结束的限定符  
  7.    String delimiter = context.getConfiguration().get(  
  8.        "textinputformat.record.end.delimiter");  
  9.    //record限定的开始符  
  10.    String startdelimiter = context.getConfiguration().get(  
  11.            "textinputformat.record.start.delimiter");  
  12.      
  13.    byte[] recordDelimiterBytes = null;  
  14.    byte[] startRecordDelimiterBytes = null;  
  15.      
  16.    if (null != delimiter)  
  17.      recordDelimiterBytes = delimiter.getBytes(Charsets.UTF_8);  
  18.    startRecordDelimiterBytes = startdelimiter.getBytes(Charsets.UTF_8);  
  19.    //返回自定义的recordReader  
  20.    return new MRecordReader(startRecordDelimiterBytes,recordDelimiterBytes);  
  21.  }  
 @Override
  //把开始与结束的限定符从configuration中读取，再传人到MeacorderRdader中
  public RecordReader<LongWritable, Text> 
    createRecordReader(InputSplit split,
                       TaskAttemptContext context) {
	//record结束的限定符
    String delimiter = context.getConfiguration().get(
        "textinputformat.record.end.delimiter");
    //record限定的开始符
    String startdelimiter = context.getConfiguration().get(
            "textinputformat.record.start.delimiter");
    
    byte[] recordDelimiterBytes = null;
    byte[] startRecordDelimiterBytes = null;
    
    if (null != delimiter)
      recordDelimiterBytes = delimiter.getBytes(Charsets.UTF_8);
    startRecordDelimiterBytes = startdelimiter.getBytes(Charsets.UTF_8);
    //返回自定义的recordReader
    return new MRecordReader(startRecordDelimiterBytes,recordDelimiterBytes);
  }


2、MFileInputFormat.java

说明：该类ctrl+v了org.apache.hadoop.mapreduce.lib.input.FileInputFormat,原来是不用改的，但是现在有这样的需求，递归读取指定目录下的文件，而原来的FileInputFormat只会读取当前指定目录的文件而已。调整了以下方法：

[java] view plain copy print ?
  1. public static void setInputPaths(Job job,   
  2.                                    Path... inputPaths) throws IOException {  
  3.       Configuration conf = job.getConfiguration();  
  4.       
  5.       StringBuffer str = new StringBuffer();  
  6.       for(int i = 0; i < inputPaths.length;i++) {  
  7.         Path path = inputPaths[i].getFileSystem(conf).makeQualified(inputPaths[i]);  
  8.           
  9.         RemoteIterator<LocatedFileStatus> files = inputPaths[0].getFileSystem(conf).listFiles(path, true);  
  10.         while(files.hasNext())  
  11.           {  
  12.                 str.append(StringUtils.escapeString(files.next().getPath().toString()));  
  13.                 str.append(StringUtils.COMMA_STR);  
  14.           }  
  15.       }  
  16.       String strTmp = str.toString();  
  17.       if(strTmp != null && !strTmp.trim().equals(""))  
  18.           strTmp = strTmp.substring(0, strTmp.length()-StringUtils.COMMA_STR.length());  
  19.       LOG.info("**************************strTmp:"+strTmp);  
  20.       conf.set(INPUT_DIR, strTmp);  
  21.   }  
public static void setInputPaths(Job job, 
                                   Path... inputPaths) throws IOException {
	  Configuration conf = job.getConfiguration();
  	
      StringBuffer str = new StringBuffer();
      for(int i = 0; i < inputPaths.length;i++) {
        Path path = inputPaths[i].getFileSystem(conf).makeQualified(inputPaths[i]);
        
        RemoteIterator<LocatedFileStatus> files = inputPaths[0].getFileSystem(conf).listFiles(path, true);
        while(files.hasNext())
	      {
	      		str.append(StringUtils.escapeString(files.next().getPath().toString()));
	      		str.append(StringUtils.COMMA_STR);
	      }
      }
      String strTmp = str.toString();
      if(strTmp != null && !strTmp.trim().equals(""))
    	  strTmp = strTmp.substring(0, strTmp.length()-StringUtils.COMMA_STR.length());
      LOG.info("**************************strTmp:"+strTmp);
      conf.set(INPUT_DIR, strTmp);
  }

3、MRecordReader.java

说明：该类ctrl+v了org.apache.hadoop.mapreduce.lib.input.LineRecordReader，该类的nextKeyVlaue方法是读取（key,value）传递给Mapper的map方法，该类修改不多，主要把限定符传递给splitReader，就不贴代码了。


4、SplitMReader.java与MCompressedSplitReader.java

说明：该类ctrl+v了org.apache.hadoop.mapreduce.lib.input. CompressedSplitLineReader与SplitLineReader，MCompressedSplitReader继承SplitMReader，MRecordReader根据会判断文件是否为压缩文件选择用MCompressedSplitReader或SplitMReader，修改不多，就不贴代码了。

5、MReader.java

说明：该类ctrl+v了org.apache.hadoop.mapreduce.lib.input.LineReader，主要的内容分隔读取逻辑在该类实现。思路是类中有个buffer缓存数组，以游标形式顺序读取文件或数据块不断放入buffer中，内容提取从readCustomLine这个方法开始，不断扫描buffer中的数据，用方法readStartMark(byte[] startMarkBytes)找到起始限定符开始的位置，然后提取内容，直到匹配上了结束限定符。

[java] view plain copy print ?
  1. private int readCustomLine(Text str, int maxLineLength, int maxBytesToConsume)  
  2.       throws IOException {  
  3.       int txtLength = 0; // tracks str.getLength(), as an optimization  
  4.       long bytesConsumed = 0;//record的长度  
  5.       int delPosn = 0;记录当前已匹配到delimiter的第几个字符  
  6.       int ambiguousByteCount=0; // To capture the ambiguous characters count  //保存上一次buffer结束时候匹配到结束字符串的第几个字符  
  7.     str.clear();  
  8.     //这个是我加上去的，可以限定record从哪里开始哦  
  9.     this.startMarkbytesConsumed = 0;  
  10.     bufferPosn = readStartMark(this.startRecordDelimiterBytes);  
  11.     bytesConsumed += this.startMarkbytesConsumed;  
  12.     //添加匹配头  
  13.     str.append(this.startRecordDelimiterBytes, 0, this.startRecordDelimiterBytes.length);  
  14.       
  15.     do {  
  16.       int startPosn = bufferPosn; // Start from previous end position  
  17.       if (bufferPosn >= bufferLength) {//貌似读到了当前buffer尽头了  
  18.         startPosn = bufferPosn = 0;  
  19.         //又要重新去load缓存的数据  
  20.         bufferLength = fillBuffer(in, buffer, ambiguousByteCount > 0);  
  21.         if (bufferLength <= 0) {//如果未能load进数据，要把那匹配的几个delimiter中的字符加上去  
  22.           str.append(endRecordDelimiterBytes, 0, ambiguousByteCount);  
  23.           break; // EOF  
  24.         }  
  25.       }  
  26.       for (; bufferPosn < bufferLength; ++bufferPosn) {  
  27.         if (buffer[bufferPosn] == endRecordDelimiterBytes[delPosn]) {//又找到一个匹配的字符了  
  28.             //记录当前已匹配到delimiter的第几个字符  
  29.           delPosn++;  
  30.           if (delPosn >= endRecordDelimiterBytes.length) {//恭喜你  
  31.             //完全可以匹配到delimiter，跳出循环，就要返回了。  
  32.             bufferPosn++;  
  33.             break;  
  34.           }  
  35.         }  
  36.         //很不幸，未能完全匹配到delimiter   
  37.         else if (delPosn != 0) {  
  38.           bufferPosn--;//稍微前移一下  
  39.           delPosn = 0;  
  40.         }  
  41.       }  
  42.       int readLength = bufferPosn - startPosn;  
  43.       bytesConsumed += readLength;  
  44.     //当重新读取下一个buffer时，先让str不添加delimiter的前部分  
  45.       int appendLength = readLength - delPosn;  
  46.       //超过最大长度了，要截断  
  47.       if (appendLength > maxLineLength - txtLength) {  
  48.         appendLength = maxLineLength - txtLength;  
  49.       }  
  50.       if (appendLength > 0) {  
  51.         if (ambiguousByteCount > 0) {//若新的buffer不能构成完整的delimiter，就应该增加上次buffer的尾巴  
  52.           str.append(endRecordDelimiterBytes, 0, ambiguousByteCount);  
  53.           //appending the ambiguous characters (refer case 2.2)  
  54.           //bytesConsumed增加上次buffer的尾巴的计数  
  55.           bytesConsumed += ambiguousByteCount;  
  56.           ambiguousByteCount=0;  
  57.         }  
  58.         str.append(buffer, startPosn, appendLength);  
  59.         txtLength += appendLength;  
  60.       }  
  61.       if (bufferPosn >= bufferLength) {  
  62.         //终于到一个buffer的终点了  
  63.         //居然buffer的结尾匹配到了几个delimiter中的字符  
  64.         if (delPosn > 0 && delPosn < endRecordDelimiterBytes.length) {  
  65.             //bytesConsumed要先减去那几个字符  
  66.           ambiguousByteCount = delPosn;  
  67.           bytesConsumed -= ambiguousByteCount; //to be consumed in next  
  68.         }  
  69.       }  
  70.     } while (delPosn < endRecordDelimiterBytes.length  
  71.         && bytesConsumed < maxBytesToConsume);//一次循环下来未能完全匹配一个结束字符串  
  72.     if (bytesConsumed > Integer.MAX_VALUE) {  
  73.       throw new IOException("Too many bytes before delimiter: " + bytesConsumed);  
  74.     }  
  75.       
  76.     //只有构成一个完整的开始与结束  
  77.     if(delPosn == endRecordDelimiterBytes.length){  
  78.         //作为结果返回  
  79.         str.append(this.endRecordDelimiterBytes,0,this.endRecordDelimiterBytes.length);  
  80.         str.set(str.toString());  
  81.     }  
  82.       
  83.     return (int) bytesConsumed;   
  84.   }  
private int readCustomLine(Text str, int maxLineLength, int maxBytesToConsume)
      throws IOException {
	  int txtLength = 0; // tracks str.getLength(), as an optimization
	  long bytesConsumed = 0;//record的长度
	  int delPosn = 0;记录当前已匹配到delimiter的第几个字符
	  int ambiguousByteCount=0; // To capture the ambiguous characters count  //保存上一次buffer结束时候匹配到结束字符串的第几个字符
    str.clear();
    //这个是我加上去的，可以限定record从哪里开始哦
    this.startMarkbytesConsumed = 0;
    bufferPosn = readStartMark(this.startRecordDelimiterBytes);
    bytesConsumed += this.startMarkbytesConsumed;
    //添加匹配头
    str.append(this.startRecordDelimiterBytes, 0, this.startRecordDelimiterBytes.length);
    
    do {
      int startPosn = bufferPosn; // Start from previous end position
      if (bufferPosn >= bufferLength) {//貌似读到了当前buffer尽头了
        startPosn = bufferPosn = 0;
        //又要重新去load缓存的数据
        bufferLength = fillBuffer(in, buffer, ambiguousByteCount > 0);
        if (bufferLength <= 0) {//如果未能load进数据，要把那匹配的几个delimiter中的字符加上去
          str.append(endRecordDelimiterBytes, 0, ambiguousByteCount);
          break; // EOF
        }
      }
      for (; bufferPosn < bufferLength; ++bufferPosn) {
        if (buffer[bufferPosn] == endRecordDelimiterBytes[delPosn]) {//又找到一个匹配的字符了
        	//记录当前已匹配到delimiter的第几个字符
          delPosn++;
          if (delPosn >= endRecordDelimiterBytes.length) {//恭喜你
        	//完全可以匹配到delimiter，跳出循环，就要返回了。
            bufferPosn++;
            break;
          }
        }
        //很不幸，未能完全匹配到delimiter 
        else if (delPosn != 0) {
          bufferPosn--;//稍微前移一下
          delPosn = 0;
        }
      }
      int readLength = bufferPosn - startPosn;
      bytesConsumed += readLength;
    //当重新读取下一个buffer时，先让str不添加delimiter的前部分
      int appendLength = readLength - delPosn;
      //超过最大长度了，要截断
      if (appendLength > maxLineLength - txtLength) {
        appendLength = maxLineLength - txtLength;
      }
      if (appendLength > 0) {
        if (ambiguousByteCount > 0) {//若新的buffer不能构成完整的delimiter，就应该增加上次buffer的尾巴
          str.append(endRecordDelimiterBytes, 0, ambiguousByteCount);
          //appending the ambiguous characters (refer case 2.2)
          //bytesConsumed增加上次buffer的尾巴的计数
          bytesConsumed += ambiguousByteCount;
          ambiguousByteCount=0;
        }
        str.append(buffer, startPosn, appendLength);
        txtLength += appendLength;
      }
      if (bufferPosn >= bufferLength) {
    	//终于到一个buffer的终点了
	    //居然buffer的结尾匹配到了几个delimiter中的字符
        if (delPosn > 0 && delPosn < endRecordDelimiterBytes.length) {
        	//bytesConsumed要先减去那几个字符
          ambiguousByteCount = delPosn;
          bytesConsumed -= ambiguousByteCount; //to be consumed in next
        }
      }
    } while (delPosn < endRecordDelimiterBytes.length
        && bytesConsumed < maxBytesToConsume);//一次循环下来未能完全匹配一个结束字符串
    if (bytesConsumed > Integer.MAX_VALUE) {
      throw new IOException("Too many bytes before delimiter: " + bytesConsumed);
    }
    
    //只有构成一个完整的开始与结束
    if(delPosn == endRecordDelimiterBytes.length){
    	//作为结果返回
    	str.append(this.endRecordDelimiterBytes,0,this.endRecordDelimiterBytes.length);
    	str.set(str.toString());
    }
    
    return (int) bytesConsumed; 
  }

四、运行

在job的main方法中使用该自定义InputFormat，读取日志文件：

[java] view plain copy print ?
  1. Configuration conf = new Configuration();  
  2.         Job job = Job.getInstance(conf, "job_"+args[0]+"_"+args[1]);  
  3.         job.setJarByClass(ReqExtracJob.class);  
  4.         // TODO: specify input and output DIRECTORIES (not files)  
  5.         MFileInputFormat.setInputPaths(job, new Path(args[2]));  
  6.         FileOutputFormat.setOutputPath(job, new Path(args[3]));  
  7.         //抽取字符串的起始与截止位置  
  8.         job.getConfiguration().set("textinputformat.record.startdelimiter","<xml>");  
  9.         job.getConfiguration().set("textinputformat.record.delimiter","</xml>");  
  10.         job.setInputFormatClass(MInputFormat.class);  
  11.         job.setOutputFormatClass(TextOutputFormat.class);  
Configuration conf = new Configuration();
		Job job = Job.getInstance(conf, "job_"+args[0]+"_"+args[1]);
		job.setJarByClass(ReqExtracJob.class);
		// TODO: specify input and output DIRECTORIES (not files)
		MFileInputFormat.setInputPaths(job, new Path(args[2]));
		FileOutputFormat.setOutputPath(job, new Path(args[3]));
		//抽取字符串的起始与截止位置
		job.getConfiguration().set("textinputformat.record.startdelimiter","<xml>");
		job.getConfiguration().set("textinputformat.record.delimiter","</xml>");
		job.setInputFormatClass(MInputFormat.class);
		job.setOutputFormatClass(TextOutputFormat.class);
[java] view plain copy print ?
  1.   
 

附：
 
相关代码下载链接 


                

        

        

    




    

      

        

            

              
                
                  修行者 坚守者
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
自定义MapReduce的InputFormat

				
			

			

				

					10-27
				

			

		

		

			
				
自定义MapReduce的InputFormat，实现提取指定开始与结束限定符的内容。

			
		

	



                

              
                



	

		

			

				
					
研究MapReduce源码之实现自定义LineRecordReader完成多行读取文件内容

				
			

			

				

					maenlai0086的博客
				

				

					03-11
					
					359
					
				

			

		

		

			
				
TextInputFormat是Hadoop默认的数据输入格式,但是它只能一行一行的读记录，如果要读取多行怎么办？
很简单 自己写一个输入格式，然后写一个对应的Recordreader就可以了，但是要实现确不是这么简单的

首先看看TextInputFormat是怎么实现一行一行读取的

大家看一看源码

public class TextInputFormat extends FileInpu...

			
		

	



                


  
              

                


	

		

			

				
					
MapReduce自定义LineRecordReader完成多行读取文件内容

				
			

			

				

					lixinyao5281的专栏
				

				

					07-18
					
					845
					
				

			

		

		

			
				
首先声明文章转载于

https://blog.csdn.net/tanggao1314/article/details/51307642

由于原文章源码太多，这里只摘录文章的关键点

TextInputFormat是Hadoop默认的数据输入格式,但是它只能一行一行的读记录，如果要读取多行怎么办？
很简单 自己写一个输入格式，然后写一个对应的Recordreader就可以了，但是要实现确不是这么简单的

首先看看TextInputFormat是怎么实现一行一行读取的


public class Te.

			
		

	





	

		

			

				
					
datax列越界，datax文本限定符，datax文本引号问题

				
			

			

				

					csdn_wr的博客
				

				

					12-05
					
					1254
					
				

			

		

		

			
				
datax列越界，datax文本引号问题

			
		

	



		

			
		



	

		

			

				
					
MapReduce提取一条日志文件中的IP，并计算出访问的次数

				
			

			

				

					鱼爻
				

				

					05-02
					
					2410
					
				

			

		

		

			
				
这个和我 上篇博客中的代码差不多的，都是用的一个框架，因为原理都是差不多，所以稍微改一下算法就好了。 
部分源数据如下：



117.135.212.67 - - [08/Mar/2018:22:35:42 +0800] "GET / HTTP/1.1" 200 4364 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (K...

			
		

	





	

		

			

				
					
mapreduce 自定义分隔符源码

				
			

			

				

					11-12
				

			

		

		

			
				
自定义分隔符读取源码，改编自LineRecordReader，主要处理格式复杂的日志

			
		

	





	

		

			

				
					
CustomInputFormatCollection:Hadoop Mapreduce InputFormat 集合

				
			

			

				

					06-13
				

			

		

		

			
				
 hadoop-mapreduce-custom-inputformat  1.0-SNAPSHOT 运行命令如下： hadoop jar hadoop-mapreduce-custom-inputformat-1.0-SNAPSHOT.jar org.apache.hadoop.mapreduce.sample.SmallFileWordCount -Dmapreduce....

			
		

	





	

		

			

				
					
ExcelRecordReaderMapReduce:可以读取Excel文件的MapReduce InputFormat

				
			

			

				

					05-19
				

			

		

		

			
				
ExcelRecordReaderMapReducehadoop mapreduce的MapReduce输入格式以读取Microsoft Excel电子表格执照Apache许可。用法1.下载并运行ant。 2.在您的环境中包括ExcelRecordReaderMapReduce-0.0.1-SNAPSHOT.jar 3.使用...

			
		

	





	

		

			

				
					
【MapReduce篇03】MapReduce之InputFormat数据输入1

				
			

			

				

					08-04
				

			

		

		

			
				
问题背景：框架默认的TextInputformat切片机制是对任务按文件规划切片，不管文件多小，都会是一个单独的切片，都会交给一个MapTask，这样如果有大量

			
		

	





	

		

			

				
					
MapReduce高级编程——自定义InputFormat

				
			

			

				

					
				

				

					02-18
					
					911
					
				

			

		

		

			
				
http://irwenqiang.iteye.com/blog/1448164


0、测试集样例




Java代码  



ball, 3.5, 12.7, 9.0  
car, 15, 23.76, 42.23  
device, 0.0, 12.4, -67.1  

 

1、测试Point3D InputFormat




Java

			
		

	





	

		

			

				
					
MapReduce中自定义InputFormat

				
			

			

				

					qq_39261894的博客
				

				

					02-27
					
					404
					
				

			

		

		

			
				
Hadoop内置的输入文件格式类有：
1）FileInputFormat<K,V> 这个是基本的父类，自定义就直接使用它作为父类。
2）TextInputFormat<LongWritable,Text> 这个是默认的数据格式类。key代表当前行数据距离文件开始的偏移量，value代码当前行字符串。
3）SequenceFileInputFormat<K,V> ...

			
		

	





	

		

			

				
					
MapReduce自定义行分隔符

				
			

			

				

					lixinyao5281的专栏
				

				

					07-19
					
					844
					
				

			

		

		

			
				
编写mapreduce程序时，发现默认对文件的输入是采用每行（\n）进行分割，能不能实现采用自定义行分割符的方式比如采用“|-|\n”作为行分割符呢

来看看hadoop默认是怎样实现的：


public class TextInputFormat extends FileInputFormat<LongWritable, Text> {

  @Override
  public RecordReader<LongWritable, Text> 
    createRecord

			
		

	





	

		

			

				
					
mapreduce中分割字符串

				
			

			

				

					敲代码的quant的博客
				

				

					08-16
					
					3445
					
				

			

		

		

			
				
刚学mapreduce没多久，在默认的输入分片中，经常要对一行的数据进行划分，如果数据的格式划分的清除，在分割这一行数据的时候也就好划分了，但是有时候，数据的格式并不规整，所以划分起来就得多写些代码了。 
例如：204001 01 02 03 07 10 25 07这种数据之间的间距是一样的都是一个空格的间距，所以在map中接受的数据可以直接通过value.split(” “)就可以获取这一行所有的

			
		

	





	

		

			

				
					
hive的load踩过的坑

				
			

			

				

					jiguanglong的博客
				

				

					08-14
					
					6170
					
				

			

		

		

			
				
load：

hive中load命令的使用语法


LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]
 

'LOCAL'表示输入文件在本地文件系统上。如果'LOCAL'被省略，那么它会在HDFS中查找该文件。

关键...

			
		

	





	

		

			

				
					
mapreduce系列（10）--自定义Inputformat

				
			

			

				

					tianjun2012的专栏
				

				

					03-20
					
					1143
					
				

			

		

		

			
				
123

			
		

	





	

		

			

				
					
map分组后取前10个_MapReduce入门（第九讲）

				
			

			

				

					weixin_39838028的博客
				

				

					12-22
					
					776
					
				

			

		

		

			
				
1.MapReduce概述a.MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题.b.MR由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。c.这两个函数的形参是key、value对，表示函数的输入信息。执行步骤：1. map任务处理1.1 读取输入文件内容，解析成key、val...

			
		

	





	

		

			

				
					
MapReduce自定义比较器

					
最新发布

				
			

			

				

					02-07
				

			

		

		

			
				
其中，自定义比较器是MapReduce的一种功能，允许用户定义自己的比较方法来排序输出结果。  使用自定义比较器可以实现复杂的排序逻辑，而不是仅仅使用基本的字典序排序。例如，可以使用自定义比较器来按照日期、数字...

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值