Mysql 数据导入 Hbase

目录

一、前言

二、使用sqoop遇到的问题

三、项目搭建（maven项目）

四、项目重点

五、项目代码

六、数据实时同步

---

一、前言

在大数据项目中需要做数据迁移时，我们第一时间总会想到sqoop。sqoop是apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具，使用才来也很方便。但因项目需求在使用sqoop是遇到了一些问题，所以决定自己开发一个一个项目解决该问题。

二、使用sqoop遇到的问题

1. 想要利用hbase的特性，数据按照Row key的字典序排序存储，但使用sqoop时无法对Row key做特殊处理；
2. 使用sqoop将数据导入hbase一些数据都默认变成字符串类型。

三、项目搭建（maven项目）

依赖

<dependency>             <groupId>mysql</groupId>             <artifactId>mysql-connector-java</artifactId>             <version>5.1.43</version>         </dependency>         <dependency>             <groupId>org.mybatis</groupId>             <artifactId>mybatis</artifactId>             <version>3.4.1</version>         </dependency>         <dependency>             <groupId>log4j</groupId>