hadoop自定义inputformat,inputsplit,recordReader注意问题

最新推荐文章于 2022-01-26 16:30:54 发布
最新推荐文章于 2022-01-26 16:30:54 发布
阅读量647 收藏 2
点赞数 3
文章标签： mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20878845/article/details/81012593
版权
本文介绍了在Hadoop中自定义InputFormat、InputSplit和RecordReader时需要注意的问题，特别是强调了MapReduce任务中输入输出类型必须实现Writable接口以确保可序列化。错误日志显示，由于序列化问题导致了split的空指针异常，影响了任务初始化。这些细节问题对于MapReduce作业的正确执行至关重要。
摘要由CSDN通过智能技术生成 
 

1、map输入输出reduce输入输出类型必须可序列化，实现Writable接口。
 

 
 自定义的inputSplit也必须实现Writable接口，其中重写write(Dataoutput out),readRecord(Datainput in)方法时特别注意，对类属性进行io时，读取(write)与写入(readFields)的顺序一致，并且对于hadoop定义的各种Writable数据类型io时，不能使用如下形式（以Text为例）： 

 

 
 
 

 

 
  Text text ; //变量定义 

 

 
 ......... 

 

 
  @Override  


                

        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  KKKStepingForward
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    3
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    2
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      










                



	

		

			

				
					
Hadoop系列之MapReduce RecordReader(25)

				
			

			

				

					
				

				

					02-05
					
					6万+
					
				

			

		

		

			
				
MapReduce RecordReader
为了理解 MapReduce 框架的 RecordReader 原理，首先得搞清楚 Hadoop 的数据流程。下面我来了解一下 Hadoop 里面的数据流程是怎样的。

Hadoop RecordReader 简介
MapReduce 有一个简单数据处理模型，map 和 reduce 函数的输入数据和输出数据都必须是键值对（key-value pairs）。Hadoop MapReduce 的 map 和 Reduce 函数具有以下通用的形式：

map：(K1

			
		

	



                

              
                



	

		

			

				
					
hadoop----mapreduce的案例（二）（自定义InputFormat）

				
			

			

				

					WQY992的博客
				

				

					06-12
					
					406
					
				

			

		

		

			
				
案例二
现有一个文件，需要统计奇偶行的和，即：统计 1，3，5…的和与2、4、6…行的和

分析：
k1是行号，v1是行记录
<k1,v1>----map----<k2,v2>----reduce----<k3,v3>
1   12         key1,[v,v,v,…]           奇数：num
2   13         key2,[v,v,...

			
		

	



                


  
              

                


	

		

			

				
					
hadoop编程小技巧（5）---自定义输入文件格式类InputFormat

				
			

			

				

					fansy1990的专栏
				

				

					07-22
					
					8523
					
				

			

		

		

			
				
Hadoop代码测试环境：Hadoop2.4应用：在对数据需要进行一定条件的过滤和简单处理的时候可以使用自定义输入文件格式类。Hadoop内置的输入文件格式类有：1）FileInputFormat这个是基本的父类，我们自定义就直接使用它作为父类；2）TextInputFormat这个是默认的数据格式类，我们一般编程，如果没有特别指定的话，一般都使用的是这个；key代表当前行数据距离文件开始的距离，

			
		

	





	

		

			

				
					
hadoop源码一起看——自定义inputformat过程中recordReader对象创建

				
			

			

				

					qq_37354905的博客
				

				

					01-15
					
					398
					
				

			

		

		

			
				
色



			
		

	



		

			
		



	

		

			

				
					
13-如何分-InputFormat&InputSplit&RecordReader解析

				
			

			

				

					软通大学企业博客
				

				

					12-30
					
					745
					
				

			

		

		

			
				
Hadoop InputFormat&InputSplit&Recorder解析
1 概述
本节我们来介绍InputFormat、InputSplit以及Recorder，了解Hadoop是如何使用这些组件来分割数据的。我们从而掌握这些组件之间的联系和区别。

2 Hadoop InputFormat
Hadoop InputFormat检查作业的输入规范。InputFormat将...

			
		

	





	

		

			

				
					
Hadoop中split数量和reader读取原则

				
			

			

				

					dingqila2415的博客
				

				

					10-18
					
					242
					
				

			

		

		

			
				
画一个简单的hadoop执行图

这里我以单词计数为例，在WCapp（在上篇博文《split数量计算法则》有源码）中设置最小切片数值和最大切片数值，把最大切片数值设置成13，即13个字节


要计数的数据



这里有个问题我们把切片值的设的很小，第一个切片读到的内容：hello world t,那么一个切片装不了一行，数据被切断，那么reader是怎么读的呢？
...

			
		

	





	

		

			

				
					
Hadoop源码学习之-----Mapreduce输入流:InputFormat,InputSplit,RecordReader

				
			

			

				

					bagba的知识分享库
				

				

					09-14
					
					583
					
				

			

		

		

			
				
Mapreduce 输入流abstract class inputSplitabstract class InputFormat:getSplits : split the input files/db/sequecefiles
createRecordReader  : return the RecordReader of one of split of splitsFileInputFormat

			
		

	





	

		

			

				
					
InputFormat及RecordReader分析及自定义实现子类

				
			

			

				

					Yannick Jiang 的专栏
				

				

					04-08
					
					510
					
				

			

		

		

			
				
InputFormat是MapReduce中一个很常用的概念，它在程序的运行中到底起到了什么作用呢？

InputFormat其实是一个接口，包含了两个方法：

public interface InputFormat<K, V> {
 InputSplit[]getSplits(JobConf job, int numSplits) throws IOException;
 R...

			
		

	





	

		

			

				
					
MapReduce之自定义InputFormat

				
			

			

				

					xby18772963985的博客
				

				

					01-26
					
					217
					
				

			

		

		

			
				
MapReduce之自定义InputFormat
背景:  在企业开发中，Hadoop框架自带的InputFormat类型不能满足所有应用场景，需要自定义InputFormat来解决实际问题。
自定义InputFormat步骤如下：

自定义一个类继承FilelnputFormat。
自定义一个类继承RecordReader，实现一次读取一个完整文件，将文件名为key，文件内容为value。
在输出时使用SequenceFileOutPutFormat输出合并文件。
无论HDFS还是MapReduce，在处

			
		

	





	

		

			

				
					
hadoop中的recordreader和split以及block之间的关系

				
			

			

				

					chengyuan2789的博客
				

				

					10-31
					
					701
					
				

			

		

		

			
				
recordreader的作用不言而喻。  
 通常来讲，Inputformat会为没有一个split产生一个recordreader来提供给maptask使用，进而，MapTask能够读取属于自己管辖处理的那部分split。  
 这里面，我们以linerecordreader为例子进行讲...

			
		

	





	

		

			

				
					
Hadoop 源码详解之RecordReader接口

				
			

			

				

					说文科技，做有态度的研究。
				

				

					12-22
					
					835
					
				

			

		

		

			
				
Hadoop 源码详解之RecordReader接口
1. 类释义

RecordReader reads &lt;key, value&gt; pairs from an InputSplit.
RecordReader 从InputSplit中读取&lt;key,value&gt; pairs 。


RecordReader, typically, converts the byte-ori...

			
		

	





	

		

			

				
					
MapReduce自定义RecordReader

				
			

			

				

					lavimer
				

				

					01-23
					
					6692
					
				

			

		

		

			
				
一：背景
RecordReader表示以怎样的方式从分片中读取一条记录，每读取一条记录都会调用RecordReader类，系统默认的RecordReader是LineRecordReader，它是TextInputFormat对应的RecordReader；而SequenceFileInputFormat对应的RecordReader是SequenceFileRecordReader。LineR

			
		

	





	

		

			

				
					
Hadoop 自定义InputFormat实现自定义Split

				
			

			

				

					u012425381的专栏
				

				

					05-22
					
					1654
					
				

			

		

		

			
				
上一篇文章中提到了如何进行RecordReader的重写，本篇文章就是来实现如何实现自定义split的大小

要解决的需求：

（1）一个文本中每一行都记录了一个文件的路径，

（2）要求处理路径对应的文件，但是因为文件量比较大，所以想进行分布式处理

（3）所以就对输入的文档进行预处理，读取前N行做为一个splits，但是没有实现，因为重写FileSplit不是太容易实现，就偷懒

			
		

	





	

		

			

				
					
Hadoop之MapReduce输入(split)输出

				
			

			

				

					写博客只为学习
				

				

					04-11
					
					889
					
				

			

		

		

			
				
Split分割
在执行mapreduce之前，原始数据被分割成若干split，每个split作为一个map任务的输入，
在map执行过程中split会被分解成一个个记录（key-value对），map会依次处理每一个记录。
(Key:偏移量，不是行数)

FileInputFormat:

FileInputFormat是所有以文件作为数据源的InputFormat实现的基类，FileInputF

			
		

	





	

		

			

				
					
YARN Capacity Scheduler（容量调度器）

				
			

			

				

					lzf的博客
				

				

					02-26
					
					1816
					
				

			

		

		

			
				
特点

以队列为单位划分资源，每个队列可设定一定比例的资源最低保证和使用上限，同时，每个用户也可设定一定的资源使用上限以防止资源滥用。而当一个队列的资源有剩余时，可暂时将剩余资源共享给其他队列。总之，Capacity Scheduler主要有以下几个特点：

容量保证：管理员可为每个队列设置资源最低保证和资源使用上限，而所有提交到该队列的应用程序共享这些资源
	灵活性：如果一个队列中的资源有剩余，...

			
		

	





	

		

			

				
					
自定义hadoop的InputFormat

				
			

			

				

					zhongyifly的专栏
				

				

					05-06
					
					7866
					
				

			

		

		

			
				
小小的抱怨一番这两天处理从文件中

			
		

	





	

		

			

				
					
hadoop java类型,java – 错误的值类：类org.apache.hadoop.io.Text不是类org.apache.hadoop.io.IntWritable...

				
			

			

				

					weixin_30863333的博客
				

				

					03-19
					
					1247
					
				

			

		

		

			
				
我使用了一个mapper,一个reducer和一个combiner类,但是我得到的错误如下：java.io.IOException: wrong value class: class org.apache.hadoop.io.Text is not class org.apache.hadoop.io.IntWritableat org.apache.hadoop.mapred.IFile$Wri...

			
		

	





	

		

			

				
					
关于在win本地远程hadoop集群开发导致的NullPointerException问题

				
			

			

				

					Dino系我的专栏
				

				

					05-19
					
					836
					
				

			

		

		

			
				
在连续百度和google之后都发现找不到任何一个解决的方法，几乎所有人都是说是hadoop(插件)自身的问题，建议打包成jar放到集群上去执行 
　　我之所以没这么做是因为之前我是可以的，并且我找到了我的另一个测试程序也是可以成功的，另一个重要的原因是太懒了 
　　针对这种类型的错误原因这里给出一种可靠的解决方案，但并不保证所有这种NullPointerException都可以这样解决。　　先说结果

			
		

	





	

		

			

				
					
Hadoop2.x全面解析：InputFormat与Google技术思想

				
			

			

				

					
				

			

		

		

			
				
"Hadoop2.x 全面认识，包括Hadoop的起源、核心组件InputFormat、InputSplit和RecordReader的介绍以及Hadoop在大数据处理中的重要性。"  Hadoop是基于分布式计算的开源框架，源自Google的技术灵感，尤其是Google的GFS...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值