mysql表迁移到kudu_将CSV，TXT文件数据导入到kudu(hive)

记一次将三十万条数据的CSV文件导入到生产环境的kudu数据库中

因为是生产环境，自己也是小心翼翼，进行实践操作。

思路还是简单的

0，开始工作前，先将文件复制出来，保存为.txt文件，且用制表符作为分隔。

1，先将文件上传到集群环境中，放在某个目录下。这里我放在/home

2，将文件数据导入到hive中，建hive表

create table kzw_mk_test(

device_id string,

user_id_mk string

)

row format delimited

fields terminated by '\t'

STORED AS TEXTFILE

;

3，将本地文件导入到hive中，命令如下：

load data local inpath '/home/urserid_mk.txt' into table kzw_mk_test;

4，用hue建好kudu表：

CREATE TABLE IF NOT EXISTS kzw_test_device_user_mk(

device_id STRING PRIMARY KEY ,

user_id_mk BIGINT)

STORED AS KUDU

此处遇到一个小问题，用device_id作为主键导入数据后发现有数据丢失情况，说明有主键重复情况，所以修改建表语句，用两个字段联合作为kudu组合主键

修改后建表语句：

CREATE TABLE IF NOT EXISTS kzw_test_device_user_mk(

device_id STRING,

user_id_mk BIGINT,

PRIMARY KEY (device_id, user_id_mk))

STORED AS KUDU

5，最后将hive表导入到kudu表中

INSERT INTO kzw_test_device_user_mk SELECT device_id ,cast(user_id_mk as bigint) FROM kzw_mk_test ;

其中 cast(user_id_mk as bigint) 是因为在hive中该字段是String类型，而hive中是bigint类型，所以要进行类型转换。

一系列步骤下来导入成功，三十多万条数据一条不落。此方法只是本人自己所实践，方法比较笨，如有高人路过望不吝赐教。