用sqoop2从mysql导入数据到hbase

最新推荐文章于 2023-03-28 16:10:43 发布

andre_xuxu

最新推荐文章于 2023-03-28 16:10:43 发布

阅读量3.6k

点赞数 1

分类专栏： Sqoop 文章标签： sqoop2 HBase 数据迁移

本文链接：https://blog.csdn.net/xuxudede1989/article/details/81700251

版权

本文详细介绍了如何通过sqoop2将mysql中的数据迁移至hbase，包括基础环境设置、操作步骤、问题总结。关键步骤包括：在mysql中创建表，使用Phoenix创建hbase表，配置sqoop2-server，创建并运行job，以及设置Linux crontab定时任务进行自动化数据导入。在操作中需要注意字段名的一致性和增量导入的问题。

摘要由CSDN通过智能技术生成

用sqoop2从mysql导入数据到hbase

标签（空格分隔）： sqoop2 hbase hadoop mysql 数据迁移

一、基础环境

hadoop-2.6.0
sqoop-1.99.6
hbase-1.0.1.1

二、数据迁移实际操作步骤

1、mysql中表结构显示

CREATE TABLE `risk_trade_error_result` (
`SERIALID` bigint(11) NOT NULL AUTO_INCREMENT,
`MERCHANT_NO` varchar(32) NOT NULL,
`TRADE_TIME` varchar(19) DEFAULT NULL,
`TRADE_TYPE` char(12) DEFAULT NULL COMMENT '交易类型',
`TERMINAL_NO` varchar(64) NOT NULL,
`CARDNO` varchar(20) NOT NULL COMMENT '卡号',
`AMOUNT` bigint(12) DEFAULT NULL COMMENT '交易金额',
`RISK_CODE` varchar(6) DEFAULT NULL,
`POS_CODE` varchar(2) DEFAULT NULL,
`REQUESTID` varchar(64) DEFAULT NULL,
`RISK_LEVEL` varchar(4) DEFAULT NULL,
PRIMARY KEY (`SERIALID`),
KEY `idx_merchant_no` (`MERCHANT_NO`),
KEY `idx_terminal_no` (`TERMINAL_NO`),
KEY `idx_trade_time` (`TRADE_TIME`)
) ENGINE=InnoDB AUTO_INCREMENT=3146182 DEFAULT CHARSET=utf8

注意：
mysql中的字段名最好用大写！

2、使用Phoenix创建hbase表

//进入Phoenix shell模式，命令如下：
#/home/hadoop/phoenix-4.5.0-HBase-1.0-bin/bin/sqlline.py risk1（主机名）  
//创建hbase表：
create table RISK.RISK_TRADE_ERROR_RESULT(
TRADE_TIME UNSIGNED_LONG not null,
MERCHANT_NO varchar(32) not null,
TRADE_T