大数据
文章平均质量分 80
猿脑2.0
《大话架构演进之路》发起人,从事架构开发。2024年下半年我已邀请前端、后端、大数据、物联网,unity、3d前端、ai开发等多名朋友,一起写好《大话架构演进之路》这本书,欢迎你加入合写或者围观,期待一场精彩的相遇!
展开
-
k8s部署flink 1.9.0 native模式
Apache Flink 1.9.0 引入了原生 Kubernetes 集成,允许你直接在 Kubernetes 上部署 Flink 任务和集群,而无需使用外部集群管理器。请注意,上述命令和步骤可能需要根据你的具体环境和需求进行调整。Flink 的官方文档提供了更多关于在 Kubernetes 上部署 Flink 的详细信息,包括如何配置和优化集群。在部署之前,请确保阅读和理解这些文档。原创 2024-06-19 18:01:37 · 386 阅读 · 0 评论 -
如何使用flink cdc同步mongo数据到oceanbase
Apache Flink 目前并没有内置的 MongoDB CDC 连接器,但是你可以使用 Debezium 或其他 CDC 工具来捕获 MongoDB 的变更数据,并将其转换为 Flink 可以处理的格式。然后,你可以使用 Flink 的 DataStream API 或 SQL API 来处理这些数据,并最终将它们写入到 OceanBase 中。特别是,OceanBase 的 Flink 连接器可能需要自定义实现,或者你可能需要使用 JDBC Sink 来实现数据写入。原创 2024-06-19 17:58:01 · 448 阅读 · 0 评论 -
使用flink cdc 的union all语法同步多个源表到一个目标表
Apache Flink 是一款高性能的流处理框架,它支持CDC(Change Data Capture)功能,即变更数据捕获。CDC允许你捕获到数据库中数据的变更(包括增加、更新、删除操作),并将这些变更实时地同步到其他系统或数据仓库中。Flink CDC Connectors 是 Flink 的一部分,它提供了一系列的连接器,用于从不同的数据库中读取变更数据。如果你需要将多个源表的数据同步到一个目标表中,你可以使用 Flink 的 SQL API 来实现。原创 2024-06-19 17:43:19 · 1245 阅读 · 0 评论 -
数仓架构概览
Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景,用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。原创 2024-05-18 06:49:36 · 994 阅读 · 0 评论 -
数据仓库、数据湖、湖仓一体 傻傻分不清楚?
大数据时代,数据平台一般被称之为大数据平台。提供易于部署和管理的泛Hadoop生态及其他存储计算引擎的PaaS平台,助力企业构建企业级数据湖技术架构。以处理海量数据存储、计算及不间断流数据实时计算、离线计算、智能推荐、交互式查询、数据湖构建等场景为主的一套基础设施。典型的包括基于Hadoop 生态构建的大数据平台。提供易于部署及管理的 Hive、Spark、HBase、Flink、StarRocks、Iceberg、Alluxio 等开源大数据计算和存储引擎。原创 2024-05-16 22:19:16 · 1228 阅读 · 0 评论