Hbase（七）hbase高级编程

最新推荐文章于 2021-09-09 01:46:11 发布

牛逸凡

最新推荐文章于 2021-09-09 01:46:11 发布

阅读量387

点赞数

分类专栏： Hbase 文章标签： Hbase

本文链接：https://blog.csdn.net/weixin_42685589/article/details/81030228

版权

本文详细介绍了如何在Hbase中结合MapReduce进行数据分析，包括Hbase到HDFS和HDFS到Hbase的数据迁移。此外，还探讨了Hbase与MySQL之间的数据导入导出，以及Hbase与Hive的整合，通过MapReduce读取Hbase表数据的方法。

摘要由CSDN通过智能技术生成

一、Hbase结合mapreduce

为什么需要用 mapreduce 去访问 hbase 的数据？
——加快分析速度和扩展分析能力
Mapreduce 访问 hbase 数据作分析一定是在离线分析的场景下应用

1、HbaseToHDFS

从 hbase 中读取数据，分析之后然后写入 hdfs，代码实现：

 
         package   
         com.ghgj.hbase.hbase2hdfsmr; 
        
         import   
         java.io.IOException; 
        
         import   
         java.util.List; 
        
         import   
         org.apache.hadoop.conf.Configuration; 
        
         import   
         org.apache.hadoop.fs.FileSystem; 
        
         import   
         org.apache.hadoop.fs.Path; 
        
         import   
         org.apache.hadoop.hbase.Cell; 
        
         import   
         org.apache.hadoop.hbase.HBaseConfiguration; 
        
         import   
         org.apache.hadoop.hbase.client.Result; 
        
         import   
         org.apache.hadoop.hbase.client.Scan; 
        
         import   
         org.apache.hadoop.hbase.io.ImmutableBytesWritable; 
        
         import   
         org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil; 
        
         import   
         org.apache.hadoop.hbase.mapreduce.TableMapper; 
        
         import   
         org.apache.hadoop.hbase.util.Bytes; 
        
         import   
         org.apache.hadoop.io.NullWritable; 
        
         import   
         org.apache.hadoop.io.Text; 
        
         import   
         org.apache.hadoop.mapreduce.Job; 
        
         import   
         org.apache.hadoop.mapreduce.Mapper; 
        
         import   
         org.apache.hadoop.mapreduce.Reducer; 
        
         import   
         org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; 
        
         /** 
        
         * 作用：从hbase中读取user_info这个表的数据，然后写出到hdfs 
        
         */ 
        
         public   
         class   
         HBaseToHDFSMR {
           
         private   
         static   
         final   
         String ZK_CONNECT =  
         "hadoop03:2181,hadoop04:2181,hadoop05:2181" 
         ; 
        
         public   
         static   
         void   
         main(String[] args)  
         throws   
         Exception {
           
         Configuration conf = HBaseConfiguration.create(); 
        
         conf.set( 
         "hbase.zookeeper.quorum" 
         , ZK_CONNECT); 
        
         System.setProperty( 
         "HADOOP_USER_NAME" 
         ,  
         "hadoop" 
         ); 
        
         //      conf.set("fs.defaultFS", "hdfs://myha01/"); 
        
         Job job = Job.getInstance(conf); 
        
         job.setJarByClass(HBaseToHDFSMR. 
         class 
         ); 
        
         Scan scan =  
         new   
         Scan(); 
        
         scan.addColumn(Bytes.toBytes( 
         "base_info" 
         ), Bytes.toBytes( 
         "name" 
         )); 
        
         /** 
        
         * TableMapReduceUtil：以util结尾：工具 
        
         * MapReduceFactory：以factory结尾，它是工厂类，最大作用就是管理对象的生成 
        
         */ 
        
         TableMapReduceUtil.initTableMapperJob( 
         "user_info" 
         , scan, 
        
         HBaseToHDFSMRMapper. 
         class 
         , Text. 
         class 
         , NullWritable. 
         class 
         , job); 
        
         job.setReducerClass(HBaseToHDFSMRReducer. 
         class 
         ); 
        
         job.setOutputKeyClass(Text. 
         class 
         );