hive分区表同步到Clickhouse代码

南潇如梦

已于 2022-10-13 23:54:46 修改

阅读量529

点赞数

分类专栏：工作经验复盘文章标签： hive clickhouse 大数据

于 2022-10-13 23:31:36 首次发布

本文链接：https://blog.csdn.net/weixin_45682261/article/details/127311698

版权

本文介绍了一种方法将Hive中的分区表数据高效地同步到Clickhouse，涉及大数据处理与实时分析场景。通过特定的ETL过程，确保数据在两个系统间的一致性。

摘要由CSDN通过智能技术生成

vim test

#!/usr/bin/env bash
source /etc/profile
Month_No=$1
Date_No=$2
cksql="
drop table if exists bigdata.test_hdfs_${Date_No};
CREATE TABLE if not exists bigdata.test_hdfs_${Date_No}
(
    content_name  Nullable(String) COMMENT '影片名称',
    appointment_movie_code String COMMENT '