hive数据迁移到clickhouse+kafka数据写入clickhouse

hive数据迁移到clickhouse

1.使用命令导入

#1.hive数据导出成csv格式
hive -e "select id,name,age from xxx" | tr "\t" "," > /otp/data/test.csv

#2.导入clickhouse
clickhouse-client -h hadoop102 --query='INSERT INTO tablename FORMAT CSV' < /opt/data/test.csv

测试结果

使用java代码生成csv文件，一行9个字段，3G大小3千万条数据。插入clickhouse用时15s左右

2.使用waterdrop