基于HIVE文件格式的map reduce代码编写

最新推荐文章于 2022-09-05 10:18:25 发布
最新推荐文章于 2022-09-05 10:18:25 发布
阅读量790 收藏 3
点赞数
分类专栏： hive 文章标签： string java 任务 output hadoop 框架

我们的数据绝大多数都是在HIVE上，对HIVE的SEQUENCEFILE和RCFILE的存储格式都有利用，为了满足HIVE的数据开放，hive client的方式就比较单一，直接访问HIVE生成的HDFS数据也是一种必要途径，所以本文整理测试了如何编写基于TEXTFILE、SEQUENCEFILE、RCFILE的数据的map reduce的代码。以wordcount的逻辑展示3种MR的代码。


其实只要知道MAP的输入格式是什么，就知道如何在MAP中处理数据；只要知道REDUCE(也可能只有MAP)的输出格式，就知道如何把处理结果转成输出格式。

表1：

 
如下代码片段是运行一个MR的最简单的配置：定义job、配置job、运行job

Java代码   收藏代码
  1. //map/reduce的job配置类，向hadoop框架描述map-reduce执行的工作   
  2. JobConf conf = new JobConf(WordCountRC.class);  
  3. //设置一个用户定义的job名称  
  4. conf.setJobName("WordCountRC");  
  5.   
  6. //为job的输出数据设置Key类  
  7. conf.setOutputKeyClass(Text.class);  
  8. //为job输出设置value类   
  9. conf.setOutputValueClass(IntWritable.class);  
  10.   
  11. //为job设置Mapper类  
  12. conf.setMapperClass(MapClass.class);  
  13. //为job设置Combiner类  
  14. conf.setCombinerClass(Reduce.class);  
  15. //为job设置Reduce类  
  16. conf.setReducerClass(Reduce.class);  
  17.   
  18. //为map-reduce任务设置InputFormat实现类  
  19. conf.setInputFormat(RCFileInputFormat.class);  
  20. //为map-reduce任务设置OutputFormat实现类  
  21. conf.setOutputFormat(TextOutputFormat.class);  
  22.   
  23. //为map-reduce job设置路径数组作为输入列表  
  24. FileInputFormat.setInputPaths(conf, new Path(args[0]));  
  25. //为map-reduce job设置路径数组作为输出列表  
  26. FileOutputFormat.setOutputPath(conf, new Path(args[1]));  
  27.   
  28. //运行一个job  
  29. JobClient.runJob(conf);  



而此刻，我们更多的是关注配置InputFormat和OutputFormat的setInputFormat和setOutputFormat。根据我们不同的输入输出做相应的配置，可以选择表1的任何格式。
当我们确定了输入输出格式，接下来就是来在实现map和reduce函数时首选对输入格式做相应的处理，然后处理具体的业务逻辑，最后把处理后的数据转成既定的输出格式。

 

如下是处理textfile、sequencefile、rcfile输入文件的wordcount代码，大家可以比较一下具体区别，应该就能处理更多其它输入文件或者输出文件格式的数据。
代码1：textfile版wordcount

Java代码   收藏代码
  1. import java.io.IOException;  
  2. import java.util.Iterator;  
  3. import java.util.StringTokenizer;  
  4.   
  5. import org.apache.hadoop.fs.Path;  
  6. import org.apache.hadoop.io.IntWritable;  
  7. import org.apache.hadoop.io.LongWritable;  
  8. import org.apache.hadoop.io.Text;  
  9. import org.apache.hadoop.mapred.FileInputFormat;  
  10. import org.apache.hadoop.mapred.FileOutputFormat;  
  11. import org.apache.hadoop.mapred.JobClient;  
  12. import org.apache.hadoop.mapred.JobConf;  
  13. import org.apache.hadoop.mapred.MapReduceBase;  
  14. import org.apache.hadoop.mapred.Mapper;  
  15. import org.apache.hadoop.mapred.OutputCollector;  
  16. import org.apache.hadoop.mapred.Reducer;  
  17. import org.apache.hadoop.mapred.Reporter;  
  18.   
  19.   
  20. public class WordCountTxt{  
  21.    
  22.   public static class MapClass extends MapReduceBase  
  23.     implements Mapper<LongWritable, Text, Text, IntWritable> {  
  24.      
  25.     private final static IntWritable one = new IntWritable(1);  
  26.     private Text word = new Text();  
  27.      
  28.        @Override  
  29.        public void map(LongWritable key, Text value,  
  30.                      OutputCollector<Text, IntWritable> output,  
  31.             Reporter reporter) throws IOException {  
  32.               String line = value.toString();  
  33.               StringTokenizer itr = new StringTokenizer(line);  
  34.               while (itr.hasMoreTokens()) {  
  35.                      word.set(itr.nextToken());  
  36.                      output.collect(word, one);  
  37.               }  
  38.   }  
  39.   }  
  40.   
  41.   public static class Reduce extends MapReduceBase  
  42.     implements Reducer<Text, IntWritable, Text, IntWritable> {  
  43.      
  44.        @Override  
  45.     public void reduce(Text key, Iterator<IntWritable> values,  
  46.                        OutputCollector<Text, IntWritable> output,  
  47.                        Reporter reporter) throws IOException {  
  48.       int sum = 0;  
  49.       while (values.hasNext()) {  
  50.         sum += values.next().get();  
  51.       }  
  52.       output.collect(key, new IntWritable(sum));  
  53.     }  
  54.   }  
  55.    
  56.   public static void main(String[] args) throws Exception {  
  57.          JobConf conf = new JobConf(WordCountTxt.class);  
  58.          conf.setJobName("wordcounttxt");  
  59.           
  60.          conf.setOutputKeyClass(Text.class);  
  61.          conf.setOutputValueClass(IntWritable.class);  
  62.           
  63.          conf.setMapperClass(MapClass.class);  
  64.          conf.setCombinerClass(Reduce.class);  
  65.          conf.setReducerClass(Reduce.class);  
  66.           
  67.          FileInputFormat.setInputPaths(conf, new Path(args[0]));  
  68.          FileOutputFormat.setOutputPath(conf, new Path(args[1]));  
  69.                 
  70.          JobClient.runJob(conf);     
  71.   }  
  72.     
  73. }  

代码2：sequencefile版wordcount

Java代码   收藏代码
  1. import java.io.IOException;  
  2. import java.util.Iterator;  
  3. import java.util.StringTokenizer;  
  4.   
  5. import org.apache.hadoop.fs.Path;  
  6. import org.apache.hadoop.io.IntWritable;  
  7. import org.apache.hadoop.io.Text;  
  8. import org.apache.hadoop.mapred.FileInputFormat;  
  9. import org.apache.hadoop.mapred.FileOutputFormat;  
  10. import org.apache.hadoop.mapred.JobClient;  
  11. import org.apache.hadoop.mapred.JobConf;  
  12. import org.apache.hadoop.mapred.MapReduceBase;  
  13. import org.apache.hadoop.mapred.Mapper;  
  14. import org.apache.hadoop.mapred.OutputCollector;  
  15. import org.apache.hadoop.mapred.Reducer;  
  16. import org.apache.hadoop.mapred.Reporter;  
  17. import org.apache.hadoop.mapred.SequenceFileAsTextInputFormat;  
  18. import org.apache.hadoop.mapred.TextOutputFormat;  
  19.   
  20.   
  21. public class WordCountSeq {  
  22.   
  23.          public static class MapClass extends MapReduceBase  
  24.            implements Mapper<Text, Text, Text, IntWritable> {  
  25.             
  26.            private final static IntWritable one = new IntWritable(1);  
  27.            private Text word = new Text();  
  28.             
  29.               @Override  
  30.               public void map(Text key, Text value,  
  31.                            OutputCollector<Text, IntWritable> output,  
  32.                    Reporter reporter) throws IOException {  
  33.                      String line = value.toString();  
  34.                      StringTokenizer itr = new StringTokenizer(line);  
  35.                      while (itr.hasMoreTokens()) {  
  36.                            word.set(itr.nextToken());  
  37.                            output.collect(word, one);  
  38.                      }  
  39.          }  
  40.          }  
  41.   
  42.          public static class Reduce extends MapReduceBase  
  43.            implements Reducer<Text, IntWritable, Text, IntWritable> {  
  44.             
  45.               @Override  
  46.            public void reduce(Text key, Iterator<IntWritable> values,  
  47.                               OutputCollector<Text, IntWritable> output,  
  48.                               Reporter reporter) throws IOException {  
  49.              int sum = 0;  
  50.              while (values.hasNext()) {  
  51.                sum += values.next().get();  
  52.              }  
  53.              output.collect(key, new IntWritable(sum));  
  54.            }  
  55.          }  
  56.          /** 
  57.           * @param args 
  58.         * @throws IOException 
  59.           */  
  60.          public static void main(String[] args) throws IOException {  
  61.               // TODO Auto-generated method stub  
  62.                 JobConf conf = new JobConf(WordCountSeq.class);  
  63.                 conf.setJobName("wordcountseq");  
  64.                  
  65.                 conf.setOutputKeyClass(Text.class);  
  66.                 conf.setOutputValueClass(IntWritable.class);  
  67.                  
  68.                 conf.setMapperClass(MapClass.class);  
  69.                 conf.setCombinerClass(Reduce.class);  
  70.                 conf.setReducerClass(Reduce.class);  
  71.                  
  72.                 conf.setInputFormat(SequenceFileAsTextInputFormat.class);  
  73.                 conf.setOutputFormat(TextOutputFormat.class);  
  74.                  
  75.                 FileInputFormat.setInputPaths(conf, new Path(args[0]));  
  76.                 FileOutputFormat.setOutputPath(conf, new Path(args[1]));  
  77.                        
  78.                 JobClient.runJob(conf);  
  79.          }  
  80.   
  81. }  



代码3：rcfile版wordcount

Java代码   收藏代码
  1. import java.io.IOException;  
  2. import java.util.Iterator;  
  3.   
  4. import org.apache.hadoop.fs.Path;  
  5. import org.apache.hadoop.hive.ql.io.RCFileInputFormat;  
  6. import org.apache.hadoop.hive.serde2.columnar.BytesRefArrayWritable;  
  7. import org.apache.hadoop.io.IntWritable;  
  8. import org.apache.hadoop.io.LongWritable;  
  9. import org.apache.hadoop.io.Text;  
  10. import org.apache.hadoop.mapred.FileInputFormat;  
  11. import org.apache.hadoop.mapred.FileOutputFormat;  
  12. import org.apache.hadoop.mapred.JobClient;  
  13. import org.apache.hadoop.mapred.JobConf;  
  14. import org.apache.hadoop.mapred.MapReduceBase;  
  15. import org.apache.hadoop.mapred.Mapper;  
  16. import org.apache.hadoop.mapred.OutputCollector;  
  17. import org.apache.hadoop.mapred.Reducer;  
  18. import org.apache.hadoop.mapred.Reporter;  
  19. import org.apache.hadoop.mapred.TextOutputFormat;  
  20.   
  21. public class WordCountRC {  
  22.       
  23.      public static class MapClass  
  24.           extends MapReduceBase implements Mapper<LongWritable, BytesRefArrayWritable, Text, IntWritable> {  
  25.            
  26.           private final static IntWritable one = new IntWritable(1);  
  27.           private Text word =new Text();  
  28.       
  29.           @Override  
  30.           public void map(LongWritable key, BytesRefArrayWritable value,  
  31.                     OutputCollector<Text, IntWritable> output, Reporter reporter)  
  32.                     throws IOException {  
  33.                Text txt = new Text();  
  34.                txt.set(value.get(0).getData(), value.get(0).getStart(), value.get(0).getLength());  
  35.                String[] result = txt.toString().split("\\s");  
  36.                for(int i=0; i < result.length; i++){  
  37.                     word.set(result[i]);  
  38.                     output.collect(word, one);      
  39.                }  
  40.           }           
  41.      }  
  42.   
  43.      public static class Reduce  
  44.           extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> {  
  45.       
  46.           private IntWritable result = new IntWritable();  
  47.            
  48.           @Override  
  49.           public void reduce(Text key, Iterator<IntWritable> value,  
  50.                     OutputCollector<Text, IntWritable> output, Reporter reporter)  
  51.                     throws IOException {  
  52.                int sum = 0;  
  53.                while (value.hasNext()) {  
  54.                     sum += value.next().get();  
  55.                }  
  56.                 
  57.                result.set(sum);  
  58.                output.collect(key, result);                
  59.           }  
  60.            
  61.      }  
  62.      /** 
  63.      * @param args 
  64.      */  
  65.      public static void main(String[] args) throws IOException{  
  66.           JobConf conf = new JobConf(WordCountRC.class);  
  67.           conf.setJobName("WordCountRC");  
  68.            
  69.           conf.setOutputKeyClass(Text.class);  
  70.           conf.setOutputValueClass(IntWritable.class);  
  71.            
  72.           conf.setMapperClass(MapClass.class);  
  73.           conf.setCombinerClass(Reduce.class);  
  74.           conf.setReducerClass(Reduce.class);  
  75.            
  76.           conf.setInputFormat(RCFileInputFormat.class);  
  77.           conf.setOutputFormat(TextOutputFormat.class);  
  78.            
  79.           FileInputFormat.setInputPaths(conf, new Path(args[0]));  
  80.           FileOutputFormat.setOutputPath(conf, new Path(args[1]));  
  81.            
  82.           JobClient.runJob(conf);  
  83.      }  
  84. }  



原始数据：

Java代码   收藏代码
  1. hadoop fs -text /group/alidw-dev/seq_input/attempt_201201101606_2339628_m_000000_0  
  2. 12/02/13 17:07:57 INFO util.NativeCodeLoader: Loaded the native-hadoop library  
  3. 12/02/13 17:07:57 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library  
  4. 12/02/13 17:07:57 INFO compress.CodecPool: Got brand-new decompressor  
  5. 12/02/13 17:07:57 INFO compress.CodecPool: Got brand-new decompressor  
  6. 12/02/13 17:07:57 INFO compress.CodecPool: Got brand-new decompressor  
  7. 12/02/13 17:07:57 INFO compress.CodecPool: Got brand-new decompressor  
  8.         hello, i am ok. are you?  
  9.         i am fine too!  



编译打包完成后执行：

Java代码   收藏代码
  1. hadoop jarWordCountSeq.jar WordCountSeq /group/alidw-dev/seq_input/ /group/alidw-dev/rc_output  



执行完毕就能看到最终结果：

Java代码   收藏代码
  1. hadoop fs -cat /group/alidw-dev/seq_output/part-00000  
  2. am      2  
  3. are     1  
  4. fine    1  
  5. hello,  1  
  6. i       2  
  7. ok.     1  
  8. too!    1  
  9. you?    1  

 


阿春
关注
专栏目录
Hive - A Warehousing Solution Over a Map-Reduce.pdf
06-27
### Hive - 一种基于Map-Reduce框架的数据仓库解决方案 #### 一、引言 随着行业对业务智能的需求不断增加，数据集的规模正在迅速增长。这导致传统的数据仓库解决方案成本高昂，难以承受。为了应对这一挑战，Hadoop...
Hive调优之MapReduce详解
qq_654603797
05-28 3961
MapReduce会经历作业输入（Input）、业务处理接口Map、Map到Reduce之间数据传输的环节Shuffle、业务处理接口Reduce和作业输出（Output）五大环节。这5个环节还可以进一步分解成如下图： 在Hive调优的过程中，我们不希望产生太多 的Map,而把计算任务的等待时间都耗费在Map的启动上；或者不希望生成太多的Map对某个文件进行操作，以免引起资源的争用。因此需要对Map进行控制（在Hive配置“set mapred.map.tasks=task数量”无法控制Map...
Hadoop分布式集群安装配置步骤
煉心的博客
02-07 2079
之前介绍过Hadoop伪分布式模式的安装配置步骤，现在记录一下分布式集群的安装配置步骤，本文使用3台测试服务器，下面是各服务器的角色：   - node1：NameNode, SecondaryNameNode, DataNode, NodeManager - node2：DataNode, NodeManager, ResourceManager - node3：DataNode, No
使用Hive编写MapReduce程序
magina507的博客
06-13 4521
使用Hive编写MapReduce程序
HiveSQL解析过程详解
weixin_30487317的博客
04-29 1591
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的 咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有了...
hive join对应的mapreduce代码
zztSky
03-25 354
只有理解了join 底层的mr代码如何实现，那你才能写出更好的sql，以及更好的优化。 加入有一下sql select * from tableA a inner join tableB b on a.model_id= b.model_id 要想深刻的理解这个sql你就得知道他的底层mr到底发生了什么，I will show you 首先我们来了解一下他的explain STAGE DE...
hadoop Join代码（map join 和reduce join）
12-10
虽然Hadoop MapReduce可以直接处理JOIN操作，但使用Hive或Pig等高级数据处理工具可以简化编写代码的过程。Hive和Pig都支持多种JOIN类型，如LEFT JOIN、RIGHT JOIN、FULL OUTER JOIN等，并且能够自动优化JOIN策略。 ...
第02节：hadoop精讲之map reduce原理及代码.rar
08-16
MapReduce的工作机制分为两个主要阶段：Map阶段和Reduce阶段，这两个阶段之间通过中间结果 Shuffle 和 Sort 阶段连接。 1. Map阶段：在这个阶段，原始输入数据被分割成多个小块（Split），每个Split会被分配到集群...
【Hive】MapReduce 如何实现 Hive SQL 的基本操作-count
每天更新大数据面经和技术
09-05 515
count
使用Hive编写Mapreduce代码
haoyuexihuai的专栏
08-24 1041
首先需要打开hive服务 bin/hive –service hiveserver 完整代码 package com.hive.demo; import java.util.List; import org.apache.hadoop.hive.service.ThriftHive; import org.apache.hadoop.hive.service.Thrif
MapReduce和Hive
Albert_ycl的博客
02-27 8105
1,MapReduce的原理，Wordcount的过程1.1,Mapreduce是一个计算框架，既然是做计算的框架，那么表现形式就是有个输入（input），mapreduce操作这个输入（input），通过本身定义好的计算模型，得到一个输出（output），这个输出就是我们所需要的结果。1.2,对待大数据处理：分而治之,大数据的并行化计算1.3,不可分拆的计算任务或相互间有依赖关系的数据无法进行并...
有Hive之后，为何还要学mapreduce
一尘在心的博客
08-20 2405
hive本身只是在mr上封装，应用场景自然更局限，不可能满足所有需求 有些场景是不能用hive来实现，就需要mr来实现。 结构复杂的日志文件，首先要经过ETL处理（使用mapreduce），得到的数据再有hive处理比较合适。直接让hive处理结构复杂的数据估计很难处理。 业务比较复杂的，还是必须写mapreduce才能实现。 Hive目前底层还是用MapReduce，以后可能会用Spar...
MapReduce产生RCFile文件在HDFS，HIve将RCFile文件加载到hive的表中
红豆和绿豆的博客
01-17 672
首先你得确定你的hive表的输入格式是RCIFLE的 hive -S-e "desc formatted tablename" | grep InputFormat 用这个命令查看表格的输入格式 如果是的话 会输出 InputFormat: org.apache.hadoop.hive.ql.io.RCFileInputFormat
Mapreduce中的RCFile输入RCFileInputFormat实现及其应用
数据人生
08-26 5162
基于旧的mapreduce的api的输入格式在hive中已有实现，在org.apache.hadoop.hive.ql.io下，下面代码是根据其源码自己实现的新mapreduce api接口。上代码：RCFileInputFormat.java import java.io.IOException; import org.apache.hadoop.hive.serde2.columnar.Byt
【Hive】（二十一）textfile、sequencefile 和 rcfile 的使用与区别详解
云祁QI
02-29 1612
一、引言 hive在创建表时默认存储格式是textfile，或者显示自定义的stored as textfile。很多人知道hive常用的存储格式有三种，textfile,sequencefile,rcfile.但是却说不清楚这三种格式的干什么用的，本质有有什么区别？适合什么时候用？ 二、思考 为什么hive会有多种存储格式？因为hive是文本批处理系统，所以就存在一个往hive中导入数据的问题，...
一文弄懂Hive基本架构和原理
热门推荐
Haiwi-Song
06-07 1万+
文章目录概述Hive架构Hive数据模型Hive SQL的编译Hive执行计划Hive Sql的MapReduce实现原理Join的实现原理Group By的实现原理Distinct的实现原理Hive文件压缩和文件存储**Hive建表指定文件格式**Hive建表指定压缩Hive动态设置压缩Hive中间数据压缩Hive最终数据压缩Hive Map和Reduce数量计算Map数量Reduce数量数据倾...
RCFileInputFormat的使用方法
weixin_33901641的博客
09-25 133
2019独角兽企业重金招聘Python工程师标准>>> ...
Hive-自定义文件格式
张波的技术积累
02-03 1万+
前面在讲述创建表的语句时，省略了一些内容，更加完整的语法如下 CREATE TABLE t1(...) STORED AS TEXTFILE; 最后的STORED AS 子句，指的是Hive数据文件的存储格式，这里使用的是TEXTFILE，还有SEQUENCEFILE和RCFile，一共三种。 TEXTFILE是最普通的文件存储格式，内容是可以直接查看。 SEQUCENFILE是包
Hive：构建在Map-Reduce上的数据仓库解决方案
"Hive是一个基于MapReduce的数据仓库解决方案，由Facebook数据基础设施团队开发。它旨在解决传统数据仓库在处理大规模数据时的成本问题，提供了一种使用SQL-like查询语言HiveQL来操作和分析Hadoop上存储的大量数据的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值