【用户投稿】使用 SeaTunnel 进行 HTTP 同步到 Doris 实战经验分享

于 2024-07-18 16:52:55 发布
阅读量264 收藏 4
点赞数 2
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_54625990/article/details/140527411
版权

需求背景

由于我司的项目中需要接入不同的数据源的数据到数仓中，在选择了众多的产品中最后选择了Apache SeaTunnel，对比参考

目前我这边使用的接口，暂时没有接口认证，如果需要接口认证的方式接入数据，再做讨论及测试

实际使用

Apache SeaTunnel版本： 2.3.4

话不多说，先贴最终的运行文件，由于我使用的json的rest-api提交方式，所以结果如下图所示：

使用rest和conf的区别就在于job执行的环境不同，conf使用的是ClientJobExecutionEnvironment（经测试也支持json格式），而rest方式则使用的是RestJobExecutionEnvironment

接口返回的数据格式

{
  "code": "0000",
  "msg": "成功",
  "data": {
    "records": [
      {
        "id": "1798895733824393218",
        "taskContent": "许可证02",
        "taskType": "许可证"
      }
    ]
  }
}
// 实际数据分页的很多，以上是示例

接入配置

{
  "env": {
    "job.mode": "BATCH",
    "job.name": "SeaTunnel_Job"
  },
  "source": [
    {
      "result_table_name": "Table13367210156032",
      "plugin_name": "Http",
      "url": "http://*.*.*.*:*/day_plan_repair/page",
      "method": "GET",  // Http请求方式 只支持GET和POST两种方式
      "format": "json", // 默认值是text 只支持json和text两种方式
      "json_field": {   // 可以看看作是从上述接口返回的数据中取数据的路径和key的映射关系，value则是取值的JsonPath
        "id": "$.data.records[*].id",
        "taskContent": "$.data.records[*].taskContent",
        "taskType": "$.data.records[*].taskType"
      },
      // "pageing": {
      //   "page_field": "current", // 当前页的key，就是分页接口的请求参数中的当前页的key，
      //   "batch_size": 10         // 每页取多少数据
      // },
      "schema": {
        "fields": {
          "id": "BIGINT", // 主键列问题，详见下面的问题
          "taskContent": "STRING",
          "taskType": "STRING"
        }
      }
    }
  ],
  "transform": [
    {
      "field_mapper": { // key是source中的schema.field中的值，value是sink中使用的值，例如下面的save_mode_create_template里的${rowtype_fields}使用的就是value，可以更改value作为sink的新命名列
        "id": "id", 
        "taskContent": "task_content",
        "taskType": "task_type"
      },
      "result_table_name": "Table13367210156033",
      "source_table_name": "Table13367210156032",
      "plugin_name": "FieldMapper"
    }
  ],
  "sink": [
    {
      "source_table_name": "Table13367210156033",
      "plugin_name": "Doris",
      "fenodes ": "*.*.*.*:*",
      "database": "test",
      "password": "****",
      "username": "****",
      "table": "ods_day_plan",
      "sink.label-prefix": "test-ods_day_plan", // Stream Load 导入使用的标签前缀。在 2pc 场景下，需要全局唯一性来保证 SeaTunnel 的 EOS 语义
      "sink.enable-2pc": false, // 是否开启两阶段提交（2pc），默认为true，保证Exactly-Once语义。Doris的二阶段提交详见https://doris.apache.org/zh-CN/docs/data-operate/import/stream-load-manual
      "data_save_mode": "APPEND_DATA", // 数据保存模式 DROP_DATA、APPEND_DATA、CUSTOM_PROCESSING、ERROR_WHEN_DATA_EXISTS官方提供了四种，我使用保留数据库结构，追加数据，可以详见源码中的DataSaveMode枚举
      "schema_save_mode": "CREATE_SCHEMA_WHEN_NOT_EXIST", // Scheme保存模式 RECREATE_SCHEMA、CREATE_SCHEMA_WHEN_NOT_EXIST、ERROR_WHEN_SCHEMA_NOT_EXIST 我使用的是当Schema不存在时创建；具体释义详见SchemaSaveMode枚举
      "save_mode_create_template": "CREATE TABLE IF NOT EXISTS `${database}`.`${table_name}` (\n ${rowtype_fields}\n ) ENGINE=OLAP\n UNIQUE KEY (id)\n DISTRIBUTED BY HASH (id)\n PROPERTIES (\n \"replication_allocation\" = \"tag.location.default: 1\",\n \"in_memory\" = \"false\",\n  \"storage_format\" = \"V2\",\n \"disable_auto_compaction\" = \"false\"\n )",
      "sink.enable-delete": true, //是否启用删除，此配置只有Doris的表模型是Unique模型，同时需要Doris表开启批量删除功能（默认开启 0.15+ 版本）
      "doris.config": {
        "format": "json",
        "read_json_by_line": "true"
      }
    }
  ]
}

实际使用中遇到的问题

Handle save mode failed

具体的报错日志中包含
Caused by: java.sql.SQLException: errCode = 2, detailMessage = Syntax error in line 21:
 UNIQUE KEY ()
             ^
Encountered: )
Expected: IDENTIFIER
解决方案：详见链接[issue](https://github.com/apache/seatunnel/issues/6646)

使用了上述配置文件中的`save_mode_create_template`字段解决，目标中值的可以自行根据业务配置。

NoSuchMethodError

java.lang.NoSuchMethodError: retrofit2.Retrofit$Builder.client(Lshaded/okhttp3/OkHttpClient;)Lretrofit2/Retrofit$Builder;
    at org.influxdb.impl.InfluxDBImpl.<init>(InfluxDBImpl.java:179) ~[connector-influxdb-2.3.4.jar:2.3.4]
    at org.influxdb.impl.InfluxDBImpl.<init>(InfluxDBImpl.java:120) ~[connector-influxdb-2.3.4.jar:2.3.4]
    at org.apache.seatunnel.connectors.seatunnel.influxdb.client.InfluxDBClient.getInfluxDB(InfluxDBClient.java:72) ~[connector-influxdb-2.3.4.jar:2.3.4]
在使用influxdb的连接时，遇到了**jar包冲突**的问题，最终发现在创建http链接的时候，`retrofit2`的依赖与`datahub`连接器中的存在版本冲突，我这里没有使用到`datahub`，所以**删除datahub的连接器**即可解决问题

Apache Doris BIGINT类型精度丢失问题

详见帖子

配置主键

Doris配置save_mode_create_template包含主键时，主键类型必须是数字或日期类型。

上面的source配置的schema中的id，接口返回的实际类型是字符串类型，但是是雪花算法的全数字类型，所以使用BIGINT类型自动转换

原因是Sink配置中的save_mode_create_template的UNIQUE KEY使用的id作为主键，Doris要求主键列类型必须是数字或者日期类型!!

个人经验

  1. 当sink、source、transform只有一个时，可以省略result_table_name、source_table_name配置项
  2. 下载源码，修改源码，在源码中增加log日志，并打包替换SeaTunnel运行时的jar，以方便根据日志得到自己想知道的结果或者方便理解代码
  3. 根据1的运用，熟知代码后可以进行二次开发，例如需要token认证的接口该怎么处理，值得深思。
  4. 另外source配置中的json_field中的value的JsonPath值，不支持 列表中复杂类型取值的问题Array或Map<String, Object>。也可以考虑二开解决
    // 举例：
{
  "code": "0000",
  "msg": "成功",
  "data": {
    "records": [
      {
        "id": "1798895733824393218",
        "taskContent": "许可证02",
        "taskType": "许可证",
        "region_list": [ // 此格式中的region_list无法解析和同步 $.data.records[*].region_list[*].id 会报数据和总数不匹配的错误
          {
            "id":"1",
            "name": "11"
          },
          {
            "id":"1",
            "name": "11"
          }
        ]
      }
    ]
  }
}

    附上 测试代码 （使用的是JDK17）

        private static final Option[] DEFAULT_OPTIONS = {
            Option.SUPPRESS_EXCEPTIONS, Option.ALWAYS_RETURN_LIST, Option.DEFAULT_PATH_LEAF_TO_NULL
    };
    private JsonPath[] jsonPaths;
    private final Configuration jsonConfiguration = Configuration.defaultConfiguration().addOptions(DEFAULT_OPTIONS);

    @Test
    public void test5() {
        String data = """
                {
                    "code": "0000",
                    "msg": "成功",
                    "data": {
                        "records": [
                            {
                                "id": "1798895733824393218",
                                "taskContent": "12312312313"
                            }
                        ]
                    }
                }
                """;
        Map<String, String> map = new HashMap<>();
        map.put("id", "$.data.records[*].id");
        map.put("taskContent", "$.data.records[*].taskContent");
        JsonField jsonField = JsonField.builder().fields(map).build();
        initJsonPath(jsonField);
        data = JsonUtils.toJsonNode(parseToMap(decodeJSON(data), jsonField)).toString();
        log.error(data);
    }
    // 以下代码都是HttpSourceReader中的代码
    private void initJsonPath(JsonField jsonField) {
        jsonPaths = new JsonPath[jsonField.getFields().size()];
        for (int index = 0; index < jsonField.getFields().keySet().size(); index++) {
            jsonPaths[index] =
                    JsonPath.compile(
                            jsonField.getFields().values().toArray(new String[] {})[index]);
        }
    }

    private List<Map<String, String>> parseToMap(List<List<String>> datas, JsonField jsonField) {
        List<Map<String, String>> decodeDatas = new ArrayList<>(datas.size());
        String[] keys = jsonField.getFields().keySet().toArray(new String[] {});

        for (List<String> data : datas) {
            Map<String, String> decodeData = new HashMap<>(jsonField.getFields().size());
            final int[] index = {0};
            data.forEach(
                    field -> {
                        decodeData.put(keys[index[0]], field);
                        index[0]++;
                    });
            decodeDatas.add(decodeData);
        }

        return decodeDatas;
    }

    private List<List<String>> decodeJSON(String data) {
        ReadContext jsonReadContext = JsonPath.using(jsonConfiguration).parse(data);
        List<List<String>> results = new ArrayList<>(jsonPaths.length);
        for (JsonPath path : jsonPaths) {
            List<String> result = jsonReadContext.read(path);
            results.add(result);
        }
        for (int i = 1; i < results.size(); i++) {
            List<?> result0 = results.get(0);
            List<?> result = results.get(i);
            if (result0.size() != result.size()) {
                throw new HttpConnectorException(
                        HttpConnectorErrorCode.FIELD_DATA_IS_INCONSISTENT,
                        String.format(
                                "[%s](%d) and [%s](%d) the number of parsing records is inconsistent.",
                                jsonPaths[0].getPath(),
                                result0.size(),
                                jsonPaths[i].getPath(),
                                result.size()));
            }
        }

        return dataFlip(results);
    }

    private List<List<String>> dataFlip(List<List<String>> results) {

        List<List<String>> datas = new ArrayList<>();
        for (int i = 0; i < results.size(); i++) {
            List<String> result = results.get(i);
            if (i == 0) {
                for (Object o : result) {
                    String val = o == null ? null : o.toString();
                    List<String> row = new ArrayList<>(jsonPaths.length);
                    row.add(val);
                    datas.add(row);
                }
            } else {
                for (int j = 0; j < result.size(); j++) {
                    Object o = result.get(j);
                    String val = o == null ? null : o.toString();
                    List<String> row = datas.get(j);
                    row.add(val);
                }
            }
        }
        return datas;
    }

    以上是我的一些经验分享，希望对大家有帮助！

    本文由 白鲸开源科技 提供发布支持！

SeaTunnel
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Flink同步Hdfs数据到doris
10-19
本场景中，我们关注的是如何使用Flink将存储在Hadoop分布式文件系统（HDFS）上的数据同步到Doris分布式列式数据库。以下是关于这个主题的详细解释。 **Flink简介** Apache Flink是一个开源的流处理框架，支持批处理...
java使用datax增量同步代码
04-19
Java 使用 DataX 进行增量同步是大数据领域中常见的数据迁移任务，DataX 是阿里开源的一个强大、高效的数据同步工具，它可以实现不同数据存储之间的数据迁移。本篇将详细讲解如何在 Java 项目中利用 DataX 实现增量...
从ApacheDoris到SelectDBCloud下一代
11-08
【标题】"从ApacheDoris到SelectDBCloud下一代"揭示了一个关键的话题，即在大数据处理领域，技术如何从Apache Doris这种开源分析型数据库发展到SelectDB Cloud这样的云原生实时数仓。Apache Doris是一款高性能、...
实战Flink+Doris实时数仓
06-21
给大家分享一套课程——实战Flink+Doris实时数仓课程，附源码+文档+虚拟机。
Doris基础使用手册.pdf
06-21
Doris基础使用手册.pdf
RTI DDS大数据碎片
qq_33089547的博客
07-17 685
PublicationBuiltingTopicData或SubscriptionBuiltnTopicData样本较大的最常见原因是序列化的TypeCode或TypeObject，但您也可能发送了大量属性（通过7.5.19 PROPERTY QosPolicy（DDS扩展））或具有较大的ContentFilteredTopic筛选器表达式，以及其他大小可变的字段，这可能会导致样本大小较大。如果您尝试发送一个大小大于MTU的DDS样本，但尚未设置DDS级碎片，您将看到IP级碎片。
Python机器学习、深度学习技术提升气象、海洋、水文领域实践技术
weixin_58566962的博客
07-15 287
Python是功能强大、免费、开源，实现面向对象的编程语言，能够在不同操作系统和平台使用，简洁的语法和解释性语言使其成为理想的脚本语言。除了标准库，还有丰富的第三方库，Python在数据处理、科学计算、数学建模、数据挖掘和数据可视化方面具备优异的性能。上述优势使得Python在气象、海洋、地理、气候、水文和生态等地学领域的科研和工程项目中得到广泛应用。人工智能和大数据技术在许多行业都取得了颠覆式的成果，气象和海洋领域拥有海量的模式和观测数据，是大数据和人工智能应用的天然场景。
2024年大数据高频面试题(下篇）
最新发布
program哲学
07-17 212
本文详细介绍大数据岗位热门高频面试题并附有详细答案说明，下篇包含scala、即席查询、分区、分桶、分片、调度系统、数据倾斜等内容的常见面试题
第二届大数据、计算智能与应用国际会议（BDCIA2024）
爱思德学术
07-15 221
EI会议论文集：本届会议的论文均会安排严格的同行评审，接收论文将集结出版，出版后送交EI Compendex, Scopus等数据库收录。大会邀请到来自美国、英国、加拿大、新加坡、意大利、越南等10余位领域内学术大咖作主题报告，并与参会人员互动交流。知网收录期刊：投稿后3-5天即可返回审稿结果，录用率高，一般2周左右见刊。EI期刊：正刊版面，JA检索类型，3-6个月发表。SCI期刊：欧洲国家出版，IF=5+，二区期刊。会议日期：2024年11月15-17日。会议地点：中国-湖北省-黄冈市。
链路追踪系列-01.mac m1 安装zipkin
suanhengzi的博客
07-13 1067
可能需要先删除 /Users/jelex/dockerV/es/plugins 目录下的.DS_Store。下载地址：https://hub.docker.com/r/openzipkin/zipkin。————————————————zipkin启动参数附录———————访问http://localhost:9411/zipkin/
工业大数据是什么？应用工业大数据时面临哪些挑战？
Leo的博客
07-12 932
随着工业大数据的深入应用，我们见证了它在推动工业转型升级中的巨大潜力。然而，这一过程中所面临的挑战也不容忽视，包括数据资源的稀缺、数据治理的滞后以及数据孤岛的问题。为了克服这些难题，需要企业、行业乃至整个社会的共同努力和智慧。
zookeeper+kafka消息队列集群部署
henanxiaoman的博客
07-15 1237
zookeeper是一种分布式协调技术，所谓分布式协调技术主要是用来解决分布式环境当中多个进程之间的同步控制，让它们有序的去访问某个共享资源，防止造成资源竞争（脑裂）的后果。
泰迪智能科技江西大数据实验室成功案例介绍说明
tipdm0526的博客
07-15 396
高校大数据实验室作为作为支撑高校人培方案实施的核心设施，实验室的建设一定要与学科建设、人才培养充分融合，是一个包含物理空间+硬件资源+软件资源+课程内容的系统化工程。
暑期大数据人工智能企业项目试岗实训班
tipdm0526的博客
07-15 324
在数字化转型的浪潮中，大数据和人工智能等前沿技术已成为推动经济发展和科技进步的关键动力。当前，全球各行各业都在积极推进数字化转型，不仅为经济增长注入新活力，也对人才市场结构产生了深刻影响，尤其是对数字化人才的需求激增。在此背景下，泰迪智能科技针对市场需求，推出企业项目试岗实训。
怎样在 PostgreSQL 中优化对大表的索引创建和维护的性能开销？
技术笔记
07-17 675
大表，顾名思义，就是数据量非常大的表。在实际应用中，当一个表的数据量达到数十万、数百万甚至数千万条时，我们就可以称之为大表。大表的存在会给数据库的性能带来诸多挑战，比如查询速度慢、数据插入和更新操作耗时等。打个比方，大表就像是一个巨大的仓库，里面堆满了各种各样的货物（数据）。当我们需要从这个仓库中找到特定的货物时，如果没有一个好的索引系统（类似于仓库的货架分类标识），那么我们就需要在整个仓库中逐个查找，这将是一个非常耗时的过程。索引是一种数据库结构，用于加快数据的查询和检索速度。
工业平板电脑在商业智能设备中的应用
lhxsdz的博客
07-15 278
工业平板电脑在商业智能设备中的应用非常广泛，它们因其坚固耐用的设计、高性能的计算能力以及灵活的部署能力，成为商业智能解决方案的关键组成部分。以下是工业平板电脑在商业智能设备中的具体应用：
启动yarn后，其他节点没有NodeManager
你可以混，但不能真的菜！
07-12 695
这个问题虽然折磨了我两天，但是原因特别蠢，可能与各位不一定一样，我是因为ResourceManager的节点的"/etc/hadoop/workers"文件没有配置好（没有配hadoop102和hadoop104），但排查过程可以作参考。
Kafka配置SASL认证
Healer_银尘的博客
07-12 620
在本博客中我们使用SASL/PLAIN的方式来进行Kafka加密。
宝塔安装RabbitMq教程
萤火虫草花星的博客
07-15 170
需要放开15672端口，默认账号密码为guest/guest。
怎么使用dinky将mysql的teacher表同步到doris中的teacher表
05-18
您可以使用以下步骤使用dinky将mysql的teacher表同步到Doris中的teacher表： 1. 安装配置Dinky和Doris 首先，您需要安装Dinky并将其配置为与Doris一起使用。您还需要安装并配置Doris以准备接收同步数据。 2. 配置Dinky同步任务 在Dinky中配置同步任务，使其从MySQL的teacher表读取数据并将其写入Doris中的teacher表。您需要指定源和目标数据库的连接信息，以及同步任务的其他参数，例如同步频率和同步模式。 3. 启动同步任务 启动Dinky同步任务，它将开始将MySQL的teacher表中的数据同步到Doris中的teacher表中。您可以监视同步任务的进度和状态，以确保数据已成功同步。 总之，使用Dinky将MySQL的teacher表同步到Doris的teacher表需要进行一些配置和设置，但是一旦设置完成，它将自动运行并确保您的数据保持同步。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SeaTunnel

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值