Spoon向Hive传输分片数据
准备工作:
安装好HIVE3.1.2和Spoon1.47,有很多配置
安装Debeaver,配置连接,在Debeaver中操作Mysql表和HIVE表
驱动版本
开始操作:
mysql建表
- 在mysql创建原始表(不含分片字段),并插入数据
CREATE TABLE `stu1` (
`id` int DEFAULT NULL,
`name` varchar(20) DEFAULT NULL,
`age` int DEFAULT NULL
)
INSERT into stu1 values(1001,'zhangsan',21),(1002,'lisi',22),(1003,'xiaohua',23);
Hive建表
- 在HIVE中创建分片表(只能有一个分片字段)
CREATE EXTERNAL TABLE IF NOT EXISTS `stu_partition` (
`id` int ,
`name` string,
`age` i