StarRocks——全农码数仓更新策略

已于 2024-09-22 23:31:42 修改
阅读量9 收藏
点赞数
分类专栏： # StarRocks 大数据 文章标签： 数据仓库 大数据
于 2024-02-29 07:58:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SHWAITME/article/details/136360463
版权

前言

   基于StarRokcs构建流批一体的数仓架构体系，在本期需要引入离线变更数据及实时新增数据的同步策略，以满足上层各业务场景下的看板需求。

一、业务介绍

     目前全农码离线数仓实现了 31省6大业务系统，近75亿涉农要素的数据汇集、数据关联分析、数据打通及给应用侧推送赋码主体数据，支撑全农码驾驶舱5大类模块的数据分析需求。

二、当前架构及痛点

2.1 当前架构

    当前架构是以StarRocks为底座构建了离线数仓架构，作为极速性能的OLAP引擎，StarRocks实现算存一体、查询分析统一。如上图，数据流转链路大致为：利用datax对业务库中的快照数据进行全量同步，在StarRocks内部做数据的逻辑分层，分别是ODS、DWD层以及ADS层，以实现

了解本专栏 订阅专栏 解锁全文 超级会员免费看
吵吵叭火
关注
专栏目录
订阅专栏
StarRocks实战——多点大数据数仓构建
爱吃辣条的博客
03-28 2380
StarRocks实战——多点大数据数仓构建
StarRocks实战——贝壳找房数仓实践
爱吃辣条的博客
02-28 1480
StarRocks实战——贝壳找房数仓实践
StarRocks实战——首汽约车实时数仓实践
爱吃辣条的博客
03-01 1396
StarRocks实战——首汽约车实时数仓实践
StarRocks实战——游族多维分析场景与落地实践
爱吃辣条的博客
02-24 1282
StarRocks实战——游族多维分析场景与落地实践
StarRocks 助力小红书离线数仓提效，提升百倍回刷性能！
StarRocks的博客
03-26 1213
OLAP 引擎在实时数仓建设方面已经得到了广泛的应用。我们的实践证明，结合业务特点，在处理中小规模数据量时，使用 StarRocks 等分布式 OLAP 引擎替换 Spark ，承担更多的离线处理任务，可以显著提高数据仓库产出的速度和效率，达到降本增效的目的。展望未来，我们计划进一步探索 StarRocks 在湖仓一体和存算分离的应用场景，以构建更加高效、灵活的数据生产链路和自助分析产品。我们期待通过这些创新实践，能够为公司带来更强大的数据处理能力，支持业务的持续增长和决策的精准性。作者简介。
StarRocks实战——滴滴OLAP的技术实践与发展方向
爱吃辣条的博客
02-23 1218
StarRocks——滴滴OLAP的技术实践与发展方向
EMR StarRocks实战——Mysql数据实时同步到SR
爱吃辣条的博客
02-26 1295
StarRocks实战——Mysql数据实时同步到SR（阿里云EMR）
StarRocks实战——表设计规范与监控体系
爱吃辣条的博客
02-27 2074
StarRocks实战——表设计规范与监控体系
StarRocks Lakehouse 快速入门——Apache Paimon
StarRocks的博客
08-15 1042
Apache Paimon （后简称 Paimon）起源于 Apache Flink （后简称 Flink）的一个子项目，起初它只是 Flink 内置的 Table Store 的一个格式，经过了几年的发展后，在 2024 年成功从 Apache 软件基金会（ASF）孵化器毕业，成为正式的顶级项目。Paimon 围绕具有 ACID 特性的数据湖存储构建，支持 DML 操作， 可以完整地支持批处理和流处理。它创新性地将 LSM Tree 与湖格式相结合，具有高效的实时更新能力与 compaction 效率。
数据仓库简介（一）
m0_58076578的博客
09-28 5141
面向主题的：专注于特定的业务主题。集成的：从不同的数据源聚合数据。相对稳定的：数据在装入后一般不可更新，主要用于查询。反映历史变化的：保存历史数据，支持管理决策。
ElasticSearch备考 -- 查询模版
麦田守望者
10-02 604
查询模版，这在日常工作中用到的比较少，需要注意写法和格式，多联系参数外层需要通过双引号包裹，"{{param}}"不用包裹双引号的有：参考资料送一波福利：福利一有需要内推JD的同学，可以私信或留言，我帮您内推，流程快！！！有需要内推JD的同学，可以私信或留言，我帮您内推，流程快！！！有需要内推JD的同学，可以私信或留言，我帮您内推，流程快！！！福利二福利三。
Kafka快速实战与基本原理详解
xajh_czbk的博客
09-29 572
消费消息：但是迟迟没有消费（因为kafka默认是从消费者启动之后开始消费，也就是说刚才发的那条消费不到，原因是那个时候消费者还没有启动。）我们现在启动了消费者了，可以尝试发消息了。另一种消费方式：指定从哪里消费。刚才第一次消费的时候没有消费test1，原因上面有写。这里的这个命令就可以消费到全部了,因为指定了从哪里消费。说白了，队列里的消息只能被同一个消费者组里面的一个消费者消费。关键他还可以重复消费。启动好了kafka之后，我们再去看ZK中的节点多了这些。创建一个主题并看一下：有了主题后就可以发消息了。
当微服务中调度返回大数据量时如何处理
ZDFXN的博客
09-27 703
总之，当需要返回大数据量时，可以根据具体的需求和技术特点选择合适的方案。同时，通过限制每页显示的数据条数，可以减少网络传输的负担。同时，通过分布式计算，可以实现数据的并行处理，提高处理效率。同时，通过异步处理，可以避免阻塞主线程，提高系统的并发能力。适用场景：适用于需要实时处理大量数据的场景，如电商网站的实时交易监控、物联网设备的数据采集等。适用场景：适用于需要展示大量数据列表的场景，如电商平台的商品列表、社交媒体的动态列表等。适用场景：适用于需要频繁读取同一份数据的场景，如用户信息查询、热点数据统计等。
docker和kafka连接Topic失败处理措施
三朝看客
10-01 376
使用 docker 镜像部署一套单节点的 Zookeeper + Kafka，但是一直Java却连不上一些处理思路。启动命令：docker-compose -f kafka.yml up -d。为了提高部署效率，这里提供一个简单可启动的docker-compose。
分布式共识算法ZAB
wendao76的专栏
10-02 553
ZAB协议是为分布式协调服务Zookeeper专门设计的一种支持崩溃恢复和原子广播的协议。基于该协议，Zookeeper实现了一种主备模式的系统架构来保持集群中各个副本之间数据一致性。Zookeeper集群中，只有Leader服务器接受写请求，即使是Follower服务器接受到客户端的请求，也会转发给Leader服务器进行处理。
hive/impala/mysql几种数据库的sql常用写法和函数说明
biqidaoer的专栏
09-27 436
做大数据开发的时候，会在几种库中来回跳，同一个需求，不同库函数和写法会有出入，在此做汇总沉淀。
Hive数仓操作（三）
m0_58076578的博客
09-29 5433
在 Hive 中，有多种类型的表，主要包括：内部表（Managed Table）：默认的表类型。创建时，Hive 会在默认的 warehouse 目录中创建一个以表名命名的目录，并将数据存储在该目录下。 当删除内部表时，表结构和数据都将被删除。 外部表（External Table）： 创建时，Hive 不会管理数据的存储位置。数据可以存储在 HDFS 中的任何位置。 删除外部表时，只删除表结构，而不会删除数据。
【大数据】在线分析、近线分析与离线分析
最新发布
在这里你大概率会有所收获，欢迎指错||纠正||建议||水评+点赞&&评论&&关注&&转发
10-03 172
在线分析是指实时或准实时地处理和分析数据，通常在数据生成的同时即进行处理。在线分析的目标是在最短时间内提供分析结果，以支持即时决策。近线分析介于在线分析和离线分析之间，它允许数据处理和分析在短时间内完成，但不一定要求实时处理。近线分析的目标是在可接受的延迟范围内提供分析结果。离线分析是指对历史数据进行批量处理和分析，通常不需要实时结果。离线分析的目标是在不影响在线系统性能的前提下，对大量数据进行深度挖掘和复杂分析。在线分析适用于需要实时响应的应用场景，如实时监控、在线交易等。近线分析。
starrocks 8030端口如何重置密码
03-30
StarRocks是一个开源的分布式列式存储分析数据库，它使用8030端口作为Web管理界面的默认端口。要重置StarRocks的8030端口密码，可以按照以下步骤进行操作： 1. 进入StarRocks服务器，打开终端或命令提示符。 2. 使用root或具有管理员权限的用户登录到服务器。 3. 执行以下命令以进入StarRocks的安装目录： ``` cd /path/to/starrocks ``` 其中`/path/to/starrocks`是StarRocks的安装路径。 4. 执行以下命令以重置8030端口密码： ``` ./bin/start_fe.sh reset_password ``` 5. 根据提示输入新的密码并确认。 6. 重置密码成功后，可以使用新密码登录StarRocks的Web管理界面。 请注意，以上步骤假设您已经正确安装和配置了StarRocks，并且具有足够的权限来执行相关操作。如果您遇到任何问题，请参考StarRocks的官方文档或寻求相关支持。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值