hive数据迁移到clickhouse
1.使用命令导入
#1.hive数据导出成csv格式
hive -e "select id,name,age from xxx" | tr "\t" "," > /otp/data/test.csv
#2.导入clickhouse
clickhouse-client -h hadoop102 --query='INSERT INTO tablename FORMAT CSV' < /opt/data/test.csv
测试结果
使用java代码生成csv文件,一行9个字段,3G大小3千万条数据。插入clickhouse用时15s左右