20221129

完成:

1.clickhouse的数据插入

今日收获

今天完成了三个千万级别的表迁移导ch中。最开始的方案是使用jdbc函数，但是在执行过程中，因为查询时间过长，所以出现线程阻塞异常。
最终方案：

1.将单表数据导出为csv格式的文件。
2.将千万级别数据插入导ch中。
3.使用ch进行join，创建新表。

ch的join速度是真的快，至少要比mysql快很多。

今日踩坑：

ch中的jdbc函数并不适合迁移大数据量的数据，如果需要，可以使用mysql函数或将数据文件导入到ch中，单表做关联生成宽表数据。

明天任务：

1.将历史数据迁移到宽表中
2.我很想学一下大数据传输的相关内容。今天迁移数据感觉很像大数据的处理。
3.ch的函数也应该好好学习一下。