JAVA使用jdbc流处理从mysql导入clickhouse
最近开始又大数据统计分析,需要将亿级业务数据进行聚合查询统计,传统的关系型库(mysql)已经满足不了业务需求,经过精细的技术选型成本计算后,自建了一个单机(4c16g)的clickhouse。实现了一个占用内存不到400M,完美将亿级数据从mysql导到了clickhouse(流处理)建好DB后,接下来的数据导入是个难题。开始准备使用阿里的datax导入,然后发现clickhouse write模块已经两年没更新了。为了快速启动只能先试试用win服务器上的navicat直接导出成csv,然后用命令行导
原创
2022-06-07 12:22:48 ·
868 阅读 ·
2 评论