完成:
1.clickhouse的数据插入
今日收获
今天完成了三个千万级别的表迁移导ch中。最开始的方案是使用jdbc函数,但是在执行过程中,因为查询时间过长,所以出现线程阻塞异常。
最终方案:
1.将单表数据导出为csv格式的文件。
2.将千万级别数据插入导ch中。
3.使用ch进行join,创建新表。
ch的join速度是真的快,至少要比mysql快很多。
今日踩坑:
ch中的jdbc函数并不适合迁移大数据量的数据,如果需要,可以使用mysql函数或将数据文件导入到ch中,单表做关联生成宽表数据。
明天任务:
1.将历史数据迁移到宽表中
2.我很想学一下大数据传输的相关内容。今天迁移数据感觉很像大数据的处理。
3.ch的函数也应该好好学习一下。