Dataworks离线同步MaxCompute数据至Hologres案例

一、背景

创作者激励计划需要计算用户收益。目前，由开发人员在测试环境中使用假数据进行测试，数仓中完成计算并通过消息或接口反馈结果。然而，我们遇到了以下问题：

1. 测试环境无法连接到数仓；
2. 将 DataWorks 同步至线上环境存在安全隐患。

为了解决这些问题，我们组内沟通后决定尝试将数据同步至 Hologres 中。这样开发人员可以直接读表， Hologres 作为 HSAP 数据库，不仅支持分析和线上服务，其性能也优于 MySQL。

二、案例

2.1 step1

因为数仓很多都是分区表，所以此处选择使用分区表来进行测试，我将app_cockpit_polaris_day_inc同步至 Hologres ，首先，我要在文档中查看如何创建 Hologres分区表，具体可见 官方文档，具体代码如下：

BEGIN;

-- 创建表并指定分区方法
CREATE TABLE IF NOT EXISTS odps2holo_app_cockpitxxxx_day_inc (
   stat_date                    TIMESTAMP WITH TIME Z