HBase（第三节）HBase通过JavaAPI与MapReduce结合、HBase结合hive使用、使用sqoop导入导出Hbase

最新推荐文章于 2024-10-18 10:33:22 发布

hwq317622817

最新推荐文章于 2024-10-18 10:33:22 发布

阅读量324

点赞数

文章标签：大数据 hive hbase mapreduce

本文链接：https://blog.csdn.net/hwq317622817/article/details/113094762

版权

本文详细介绍了如何通过JavaAPI与MapReduce将数据在HBase之间迁移，包括从HDFS批量加载数据、通过bulkload方式写入。同时探讨了HBase与Hive的对比，以及两者如何整合，如将Hive分析结果存入HBase，创建Hive外部表映射HBase表。此外，还讲解了使用Sqoop将MySQL数据导入HBase以及间接导出HBase数据到MySQL的过程。

摘要由CSDN通过智能技术生成

HBase通过JavaAPI与MapReduce结合

通过MapReduce实现Hbase读写

目的：通过MapTask读取Hbase某个表中的数据，再用ReduceTask将该表的某些字段写到另一个Hbase表中。
1、在hbase-shell中创建myuser2表

hbase(main):010:0> create 'myuser2','f1'

myuser2作为本实验接收数据的表，读取数据的表出自HBase（第二节）HBase的JavaAPI、HBase底层原理和HBase的三个重要机制的myuser表，表中数据如下图：
在这里插入图片描述
要实现将myuser表的f1列族下的name和age列写到myuser2中。
2、创建maven工程
pom文件如下：

<repositories>
   <repository>
       <id>cloudera</id>
       <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
   </repository>
</repositories>

<dependencies>

   <dependency>
       <groupId>org.apache.hadoop</groupId>
       <artifactId>hadoop-client</artifactId>
       <version>2.6.0-mr1-cdh5.14.0</version>
   </dependency>
   <dependency>
       <groupId>org.apache.hbase</groupId>
       <artifactId>hbase-client</artifactId>
       <version>1.2.0-cdh5.14.0</version>
   </dependency>
   <dependency>
       <groupId>org.apache.hbase</groupId>
       <artifactId>hbase-server</artifactId>
       <version>1.2.0-cdh5.14.0</version>
   </dependency>
   <dependency>
       <groupId>junit</groupId>
       <artifactId>junit</artifactId>
       <version>4.12</version>
       <scope>test</scope>
   </dependency>
   <dependency>
       <groupId>org.testng</groupId>
       <artifactId>testng</artifactId>
       <version>6.14.3</version>
       <scope>test</scope>
   </dependency>


</dependencies>

<build>
   <plugins>
       <plugin>
           <groupId>org.apache.maven.plugins</groupId>
           <artifactId>maven-compiler-plugin</artifactId>
           <version>3.0</version>
           <configuration>
               <source>1.8</source>
               <target>1.8</target>
               <encoding>UTF-8</encoding>
               <!--    <verbal>true</verbal>-->
           </configuration>
       </plugin>
       <plugin>
           <groupId>org.apache.maven.plugins</groupId>
           <artifactId>maven-shade-plugin</artifactId>
           <version>2.2</version>
           <executions>
               <execution>
                   <phase>package</phase>
                   <goals>
                       <goal>shade</goal>
                   </goals>
                   <configuration>
                       <filters>
                           <filter>
                               <artifact>*:*</artifact>
                               <excludes>
                                   <exclude>META-INF/*.SF</exclude>
                                   <exclude>META-INF/*.DSA</exclude>
                                   <exclude>META-INF/*/RSA</exclude>
                               </excludes>
                           </filter>
                       </filters>
                   </configuration>
               </execution>
           </executions>
       </plugin>
   </plugins>
</build>

3、开发TableMapper
TableMapper是Hbase专用的Mapper类

import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.io.Text;

import java.io.IOException;
import java.util.List;

public class ReadMapper extends TableMapper<Text, Put>
{
   
    @Override
    protected void map(ImmutableBytesWritable key, Result value, Context context) throws IOException, InterruptedException
    //ImmutableBytesWritable是专用于Hbase的rowKey的类
    {
   
        Text rowKey