doris通过catalog读取maxcomput和同步数据存在数据丢失问题分享

最新推荐文章于 2024-10-20 20:19:45 发布
最新推荐文章于 2024-10-20 20:19:45 发布
阅读量481 收藏 1
点赞数 6
文章标签： odps 数据库 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_71195617/article/details/141958742
版权

1.直接读取maxcompute数据演示


可以看到maxcompute里面是有数据的

2.doris创建mc的catalog并读取数据

创建mc的catalog按官网介绍操作即可

使用mccatalog读取maxcompute，发现数据丢失

3.清空mc表里的null值重新查询


然后重新使用catalog查询，可以看到有数据了

4.总结

1.doris对null不是很友好，在使用doris的时候需要尽量避免null值
2.为什么要使用catalog呢，一是方便，二catalog同步数据比datax效率会高很多，因为datax同步数据的时候需要将数据落盘再load进doris。catalog同步数据直接内存对接就可以了（注意使用catalog同步数据到doris的时候，原始表里面不能有null值，否则也可能存在丢数据的情况）

木白841
关注
Doris配置MySQL jdbc catalog信息不同步问题解决方案
JustinMars的博客
09-20 674
doris 配置jdbc catalog 新增数据库或者表并未实时同步解决方案
Doris 数据集成 Catalog
03-27 6万+
在创建catalog时，在properties 中指定刷新时间参数metadata_refresh_interval_sec ，以秒为单位，若在创建catalog时设置了该参数，FE 的master节点会根据参数值定时刷新该catalog。新的 Multi-Catalog 功能在原有的元数据层级上，新增一层Catalog，构成 Catalog -> Database -> Table 的三层元数据层级。默认情况下，外部数据源的元数据变动，如创建、删除表，加减列等操作，不会同步给 Doris。
Doris之Catalog
youziguo的专栏
08-05 1601
Doris Catalog 是 Apache Doris 中用于管理和组织数据的组件。Apache Doris 是一个现代化的MPP（Massively Parallel Processing）数据库，主要用于高效的分析查询。Doris Catalog 在其中起到了至关重要的作用，负责管理数据库、表、视图、分区等元数据。以下是对 Doris Catalog 的详细介绍：
Doris: Multi Catalog 多源数据目录
weixin_42326851的博客
07-23 5103
Doris: Multi Catalog 多源数据目录
Doris：多源数据目录（Multi-Catalog）
m0_37559973的博客
11-11 5822
多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。
doris配置hive的catalog
JustinMars的博客
07-05 2253
查询hive的database。创建hive的catalog。
Doris 数据集成 Kafka
热门推荐
04-26 7万+
这是我们Doris 数据集成篇的第二篇，前面我们介绍过通过 Catalog进行集成的例子目前公司的很多数据服务都开始使用Doris 了，目前使用下来感觉还是很方便的，比起Hadoop 那一套少了很多运维的成本，而且整体的效率也不错，现在也要把ELK 那一套日志分析的替换掉，后面日志分析也走Doris。关于如何使用Doris做日志分析，可以参考之前的文章，不过第一步也不是日志分析，而是如何对接Kafka ，因为目前日志数据是在kafka 里的，这里我调研了一下使用Flink 和 Doris 的。
Spark Doris Connector 可以支持通过 Spark 读取 Doris 数据类型不兼容报错解决
helloxiaozhe的博客
01-12 1871
Spark Doris Connector 可以支持通过 Spark 读取 Doris 数据，但部分doris类型spark doris connector不兼容报错解决方案 .spark.exception.ConnectedFailedException: Connect to Doris BE{host='172.xxx.yyyy.10', port=9060}failed.
基于FlinkSQLCDC的实时数据同步方案
03-03
很明显这种模式是不可持续发展的，这种双写到各个数据存储系统中可能导致不可维护和扩展，数据一致性问题等，需要引入分布式事务，成本和复杂度也随之增加。我们可以通过CDC（ChangeDataCapture）工具进行解除耦合，...
Doris：基于 Catalog 与 Job Scheduler 的数据自动同步
m0_37559973的博客
09-20 1045
通过Job Scheduler 可与数据湖能力 Multi Catalog 配合，高效完成跨数据源的定期数据同步
Doris入门篇-Apache Doris 1.2.0 JDBC外表 及 Mutil Catalog
S1124654的博客
03-15 2434
Doris入门篇-Apache Doris 1.2.0 JDBC外表 及 Mutil Catalog
flinkCDC+iceberg(hadoop catalog) 同步mysql数据库数据
qq_40788398的博客
04-18 4194
flink可以实现hadoop catalog 和hive catalog 。 前者映射hdfs地址，实现数据存储 后者映射hive表地址，用于有关hive的数据处理及其他项目实操。 1. 环境准备 官网：https://iceberg.apache.org/ 1. hadoop 一定要分布式集群 2.需要flink-connector-mysql-cdc-1.4.0.jar 即mysql-cdc连接器放到flink 的 lib下，为了连接数据库 3. 需要将iceberg 0.13.1的j.
整库同步 Catalog 和 Flink CDC
SunTecTec
05-28 398
Flink CDC连接器的主要目的是从关系型数据库中的binlog（二进制日志）中捕获变更事件，并将这些事件作为数据流传递给Flink应用程序进行处理。Catalog是数据库管理系统（DBMS）中用于存储元数据信息的组件，它包含了数据库对象（如表、视图、函数等）的定义和描述。通常情况下，Flink CDC连接器并不直接操作Catalog数据，而是通过解析binlog来捕获对数据库对象的变更。然而，一些特定的CDC实现或特殊的配置可能会考虑到对Catalog数据的变更进行捕获和处理。
[1.2.0新功能系列:二] Apache Doris 1.2.0 JDBC外表 及 Mutil Catalog
锋哥聊DORIS数仓
12-12 3154
这里以 JDBC Mutil Catalog方式演示了Mutil Catalog方式的使用，其他Hive、Hudi、Iceberg及ES使用方法一样，具体可以参照官方文档：https://doris.apache.org/zh-CN/docs/dev/ecosystem/external-table/multi-catalog。多源数据目录（Multi-Catalog）是 Doris 1.2.0 版本中推出的功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。
DataLeap的Catalog系统近实时消息同步能力优化
m0_60025795的博客
09-20 228
字节数据中台DataLeap的Data Catalog系统通过接收MQ中的近实时消息来同步部分元数据。Apache Atlas对于实时消息的消费处理不满足性能要求，内部使用Flink任务的处理方案在ToB场景中也存在诸多限制，所以团队自研了轻量级异步消息处理框架，很好的支持了字节内部和火山引擎上同步元数据的诉求。本文定义了需求场景，并详细介绍框架的设计与实现。使用下面的表格将具体场景定义清楚。
Apache Doris 入门教程35：多源数据目录
sunjian286的专栏
08-22 2455
本文简要介绍Apache Doris中的多源数据目录概念
【Doris】双集群数据同步，写在2.0发布的前夕
weixin_42020212的博客
08-08 810
Doris双集群数据同步思路
Flink+Paimon+Hadoop+StarRocks(Doris)单机环境安装部署
Leonardo_KY的博客
10-20 1796
本文主要介绍如何在单机本地安装部署Flink、Paimon、StarRocks（Doris）的相关大数据/数据湖环境，并结合简单测试用例介绍入门用法（方便玩转流式数据湖）。
如何使用doris catalog，读取es中的数据
最新发布
11-28
Doris是一个分布式列式查询引擎，而Elasticsearch（ES）是一个分布式搜索和分析引擎，它们通常配合使用，例如通过ELK堆栈（Elasticsearch、Logstash和Kibana）。要在Doris中读取ES中的数据，你需要通过一些中间步骤进行集成： 1. **数据同步**：首先，你可以选择将ES的数据定期同步到Hadoop Distributed File System (HDFS)或者其他适合Doris的数据存储系统，如OSS（阿里云对象存储），这通常通过工具如Fluentd、Beats（Elastic Stack的一部分）或者Presto/ElasticIO这类跨系统数据提取工具。 2. **ETL处理**：同步完成后，可能需要对数据进行清洗和转换，比如结构化数据，以便于Doris能直接查询。这个过程可以使用开源库如Apache Beam、Spark Streaming等。 3. **创建表**：在Doris中，你可以使用`CREATE TABLE`命令定义从HDFS或其他源加载数据的表，并指定ES的数据作为数据源。例如，如果你使用的是`druid`作为数据连接器，可能会创建类似这样的表： ```sql CREATE EXTERNAL TABLE es_data ( ... // 表的字段列表 ) PARTITIONED BY (dt STRING) LOCATION 'hdfs://path/to/your/data'; ``` 4. **编写SQL查询**：然后，你可以像查询HDFS上的其他表一样，使用Doris SQL查询ES数据。比如，查询特定日期范围内的数据： ```sql SELECT * FROM es_data WHERE dt BETWEEN '2022-01-01' AND '2022-12-31'; ``` 5. **优化性能**：由于ES的数据通常是实时变化的，你可能需要考虑使用流处理或者定时任务定期更新Doris中的数据视图，以保持数据一致性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值