网约车平台数仓设计与核心业务分析

已于 2025-04-18 14:45:31 修改
阅读量724 收藏 10
点赞数 20
分类专栏： 数字化建设通关指南 # 数据建模 文章标签： 数据仓库 大数据 数据分析 sql hive
于 2025-04-17 09:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/godlovedaniel/article/details/147286867
版权
了解本专栏 订阅专栏 解锁全文
数仓基础（九）：各大公司实时数仓实践
Lansonli（蓝深李）的博客
09-02 2142
以上体系架构图就是滴滴整体业务架构图，底层是数据源，中间也做了数据仓库分层，包括ODS层，DWD明细层是将ODS层数据库binlog、Public Log、Topic、消息队列同步过来，DWD包含三类数据：业务数据（订单交易），流量数据（主要是埋点获取用户行为数据，用作用户分析），维度数据（用户数据、司机数据、车辆行驶数据、拍照数据等维度数据），DWM层就是指标汇总层，对一些核心的指标做一些汇总，包括：冒泡、呼单、完单、PV、UV、财务、安全等。数据写入Redis和ES的主要作用是做实时数据缓存。
大数据架构选型与设计
l567891011的博客
02-16 3800
大数据架构选型与设计 1.1如何构建大数据平台？ 1.1.1数据库与ER建模 1.1.1.1数据库（DataBase） 数据库是按照数据结构来组织、存储和管理数据的仓库，是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。 数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可视为电子化的文件柜，存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作，数据组织主要是面向事务处理任务。 1.1.1....
从业务到数仓-网约车平台Grab数据建模
熊大数据
01-15 2096
从毕业到现在，对模型的认识不断被刷新重建，尤其是后来接触越来越复杂的业务，设计的模型被一次次鞭笞和灵魂拷问（下游吐槽），才积累出心得。5年后，我又转去做数据治理，开始轮到我吐槽别人的模型：SLA被一个指标严重拖垮；这个指标命名相同，但含义却不一致；每日历史全量表占据太多存储空间，修改TTL又影响Backfill重新写脚本；订单指标重复开发，下游不知道用哪个，每次都来问；Backfill的时候，部分表出现数据短板。精辟1. 高内聚、低耦合2. 核心和拓展模型分离。
实时数仓实战
whalecloud的博客
06-13 3751
以最大的实时性及灵活度应对千变万化的业务挑战
滴滴打车 -- 数仓指标体系建设实践
a934079371的博客
09-02 2984
桔妹导读：指标体系是什么？如何使用OSM模型和AARRR模型搭建指标体系？如何统一流程、规范化、工具化管理指标体系？本文会对建设的方法论结合滴滴数据指标体系建设实践进行解答分析。1.什...
企业级数据仓库:数据仓库概述;核心技术框架,数仓理论,数据通道Hive技术框架,HBase设计,系统调度,关系模式范式,ER图,维度建模,星型/雪花/星座模式,数据采集同步,业务数据埋点,数据仓库规范
qq_43265673的博客
09-20 2320
文章目录 第一章 数据仓库概述 1.1 数据仓库简介 1.1.2 什么是数据仓库？ 1.1.3 OLTP 与 OLAP 1.2 数据仓库技术架构 1.3 课程目标 第二章 核心技术框架 2.1 数据仓库周边技术框架 2.1.2 数据采集 Datax Sqoop Datax 与 Sqoop 的对比 数据采集框架综述 2.1.3 数据通道 Kafka RabbitMQ 2.1.4 系统调度 Oo...
互联网运营平台指标体系_滴滴数据仓库指标体系建设实践
weixin_39674028的博客
10-19 965
桔妹导读：指标体系是什么？如何使用OSM模型和AARRR模型搭建指标体系？如何统一流程、规范化、工具化管理指标体系？本文会对建设的方法论结合滴滴数据指标体系建设实践进行解答分析。1.什么是指标体系▍1.1指标体系定义‍指标体系是将零散单点的具有相互联系的指标，系统化的组织起来，通过单点看全局，通过全局解决单点的问题。它主要由指标和体系两部分组成。指标是指将业务单元细分后量化的度量值，...
数仓指标体系搭建实战（下）
SeizeeveryDay的博客
12-02 1460
曹雷 | 作者滴滴技术|来源4怎么管理指标体系1. 痛点分析主要从业务、技术、产品三个视角来看：业务视角业务分析场景指标、维度不明确；频繁的需求变更和反复迭代，数据报表臃肿，数据参...
数仓指标体系搭建实战（上）
SeizeeveryDay的博客
12-02 1803
曹雷 | 作者滴滴技术|来源指标体系是什么？如何使用OSM模型和AARRR模型搭建指标体系？如何统一流程、规范化、工具化管理指标体系？本文会对建设的方法论结合滴滴数据指标体系建设实践...
数仓建设规划核心问题.docx
05-05
小A在网约车服务公司的案例中面临的数仓建设问题具有普遍性，这些问题主要包括数据模型管理、数据同步、数据孤岛、流程规范、技术设计、数据隔离、数据应用理解等方面。 1. **数据模型管理与变更同步**： - 缺乏...
"深度剖析：小 A 公司数仓建设规划核心问题与解决方案
首先，小 A 公司是一家网约车服务公司，成立时间不长，但业务增长速度非常快，导致数据量快速增加。同时，业务部门对数据的使用需求也在激增，对数据质量、响应速度、数据时效性和稳定性的要求越来越高。 然而，小 ...
数据仓库建设全解析！
最新发布
Leo的博客
04-24 606
搭建数字仓库并非一蹴而就，从规划设计到落地运维，每个环节都至关重要。掌握数字仓库搭建技术，不仅能让你解决企业数据管理的难题，还能助力企业做出更科学的决策，提升竞争力。如今，云化、智能化与实时化浪潮正重塑数据仓库的发展格局，它将进一步与前沿技术深度融合，拓宽应用边界。
数据仓库是什么？数据仓库架构有哪些？
Leo的博客
04-24 843
通过合理的架构分层，数据仓库能够有效地整合企业的数据资源，为企业的决策和业务优化提供支持。尽管面临着一些挑战，但随着技术的不断进步，数据仓库也将不断发展和完善。数据仓库建设解决方案 - 帆软数字化资料中心。
【Hive入门】Hive概述：大数据时代的数据仓库桥梁
IT成长日记的博客
04-21 551
在大数据时代，Hive作为Apache顶级开源项目，成功架起了传统SQL与Hadoop分布式计算之间的桥梁。它允许数据分析师和数据工程师使用熟悉的SQL语法来查询和管理存储在Hadoop分布式文件系统(HDFS)中的海量数据。CAPEX高，许可费用贵。深度Hadoop生态集成。OPEX低，开源免费。
课堂总结。
2502_90679828的博客
04-23 342
下载安装包：注意选择kafka的版本，以及scala的版本。首先进到software目录当中，如下图所示：然后将安装包上传上来解压之后的效果如下图所示，并把原始kafka文件名重命名一下：重命名之后的效果如下图所示：解压过后的目录如下图所示：上传安装包到集群中，并解压。0: node011: node022: node03·需要修改的第二个地方是修改为：（去掉注释，把主机名称改了）·第三个修改的地方为添加以下语句：在这里添加：·修改日志的存放路径：（Kafkadata目录不需要提前创建，它可以自动创建好。
Spark-Streaming简介 核心编程
2402_84631040的博客
04-22 470
2. Spark-Streaming架构：包含背压机制，1.5版本前靠设置静态参数限制Receiver数据接收速率，易导致资源利用率低。1. RDD队列创建DStream：可利用 ssc.queueStream(queueOfRDDs) 创建DStream，队列中的每个RDD都会被当作一个DStream处理。定义：用于处理流式数据，支持多种数据输入源，可运用Spark原语运算，结果能保存于多处。特点：易用，支持多语言编写实时计算程序；易整合，能在Spark上运行，结合离线处理实现交互式查询。
Spark-Streaming
2502_90679705的博客
04-22 498
矩阵运营的限流问题本质上是平台与创作者之间的流量博弈
xingyun_ai的博客
04-24 1190
矩阵运营的限流问题本质上是平台与创作者之间的流量博弈，要系统性解决这一问题，需从技术规避、内容优化、运营策略三个维度构建防御体系。
MQ底层原理
2302_79904362的博客
04-22 1291
MQ（Message Queue，消息队列 ）是一种在应用程序之间异步传递消息的中间件，可实现解耦、异步处理、流量削峰等功能，常见类型如RabbitMQ、RocketMQ、Kafka ，在不同场景发挥重要作用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值