从数据仓库到数据中台再到数据飞轮，我了解的数据技术进化史 从数据仓库到数据中台再到数据飞轮，我了解的数据技术进化史

阅读 1.1w

25赞

收藏 18
数据仓库：企业数据管理的核心引擎 1991年，Bill Inmon在《Building the Data Warehouse》中首次明确定义了数据仓库："面向主题的、集成的、非易失的且随时间变化的数据集合，用于支持管理决策"。概念的诞生源于企业对数据价值的深度挖掘需求。在1980年代，随着OLTP（联机事务处理）系统在企业中的普及，传统关系型数据库在处理海量数据分析时显露出明显瓶颈：事务处理与分析查询的冲突、数据孤岛现象严重、历史数据利用率低下等问题日益突出。集中式架构，MPP并行处理。分布式计算，高扩展性。流批一体，亚秒级响应。

阅读 820

13赞

收藏 13
【信息系统项目管理师】高分论文：论信息系统项目的整合管理（银行数据仓库项目） 有了配置管理，可以追溯到任何以前的版本，为项目 的成功提供了有力的保障。在 这个过程中，我都会在每周的周例会上，让项目团队的成员汇报项目的绩效情况，包括项目 的当前状态、存在的问题、下一步的计划以及其他问题。自从合同签订之后，甲方的领导就组织相关的干系人召开了项目会议，根据项目合同、项目工作说明书，经过专家讨论后，由甲方的领导发布了项目的章程，明确项目的背景、项 目的目标、相关干系人的需求和干系人对项目的影响、项目的概要预算、概要的里程碑进度计划等，并授权我为项目经理，批准我在项目活动中使用组织的资源。

阅读 1.8k

4赞

收藏 4
2025数据存储技术风向标：解析数据湖与数据仓库的实战效能差距 在数字化转型浪潮下，数据湖与数据仓库的竞争格局正在重塑企业数据战略版图。本文基于Forrester 2024全球数据管理报告及IDC 2025技术成熟度曲线，结合金融、零售等八大行业的真实落地案例，从存储成本、处理效率、数据治理等12项核心指标进行量化对比。研究发现：数据湖在非结构化数据处理场景效率提升47%，而数据仓库在复杂事务支持方面仍保持2.3倍的稳定性优势。最终揭示混合架构或将成为下一代企业数据基础设施的标配。

阅读 806

6赞

收藏 3
大数据之数据仓库 数据仓库

阅读 2.3k

10赞

收藏 29
hive的优化策略 以 on,where 多条件字段顺序，建【多重】分区表，默认开启支持,以分区字段为条件筛选数据，tez引擎：动态分区剪裁支持。控制Mapper和Reducer数量，mapper的启动和初始化开销较大,【数量过多】导致开销大于逻辑处理,浪费资源。从表：不存在以NULL填充，where不能下推，on可以下推。主表：全部显示, on条件不能下推，where可以下推。配置压缩格式，表存储格式，查看是否支持压缩，是否支持切片。【连接键】的值分布不均：值集中的少数分区，其他分区没有值。分桶=>拉链表(分桶表)、抽样。

阅读 2.3k

55赞

收藏 28
数据仓库（什么是拉链表） 数据库是面向事务的设计，数据仓库是面向主题设计的。数据库一般服务于业务系统的，数据仓库一般是服务于分析系统的。数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。数据库设计是尽量避免冗余，数据仓库在设计是有意引入冗余。数据库是为捕获数据而设计，数据仓库是为分析数据而设计。数据库一般会对数据进行增删改查，数据仓库一般只对进行增和查，基本不会修改数据。当然，数据仓库不仅仅指的是一个存储引擎，而是一套完整的数据建设的方法论。拉链表是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，

阅读 1.4k

30赞

收藏 17
数据仓库ODS、DWD、DWS、ADS各层介绍 1. ODS（Operational Data Store，操作型数据存储）‌ODS层是数据仓库体系结构的最底层，主要用于存储从各个操作系统采集来的原始数据。它作为数据仓库的临时区域，经过ETL（抽取、转换、加载）过程后，将数据源中的数据抽取、洗净并传输到ODS层。ODS层的主要功能是为后续的数据仓库层（如DWD层）提供原始数据，同时减少对业务系统的影响。2. DWD（Data Warehouse Detail，数据仓库明细层）DWD层是数据仓库的明细层，用于存储详细、完整的数据。

阅读 2.5k

28赞

收藏 30
如何使用PostgreSQL数据库进行数据仓库的维度建模 在当今数字化时代，企业积累了大量的数据。为了从这些数据中提取有价值的信息，数据仓库应运而生。数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。而维度建模是构建数据仓库的一种有效方法，它能够将复杂的数据结构简化，提高数据查询和分析的效率。本文的目的是详细介绍如何使用PostgreSQL数据库进行数据仓库的维度建模。范围涵盖了维度建模的基本概念、核心算法原理、实际操作步骤、项目实战案例、应用场景以及相关的工具和资源推荐等方面。

阅读 998

11赞

收藏 21
大数据开发之离线数仓项目（4-1电商数据仓库系统）（可面试使用） 事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计。其包含与该业务过程有关的维度引用（维度表外键）以及该业务过程的度量（通常是可累加的数据类型字段）事务事实表用来记录各业务过程，它保存的是各业务过程的原子操作事件，即最细粒度的操作事件。粒度是指事实表中一行数据所表达的业务细节程度。周期快照事实表以其规律性的、可预见性的时间间隔来记录事实，主要用于分析一些存量型（例如商品库存，账户余额）或者状态型（空气温度，行驶速度）指标。

阅读 1.9k

17赞

收藏 32
AI大模型时代下运维开发探索第二篇：基于大模型(LLM)的数据仓库 一份需求查询SQL，利用LLM生成两份代码，一份用于Pull：直接查询返回结果，预查询调试用；一份用于Push：构建消费链路进实时数仓。避免ETL过程的过度加工：按需加字段，不会加工太多用不到字段浪费计算、浪费存储。降低使用者维护ETL加工过程成本：虽然Flink SQL的可维护性已经很好了，但是面向计算过程的SQL编写方式还是让很多用户不适应。如果直接用查询SQL来进行自动生成，就大大降低了维护的门槛。以查询为驱动的数据模型，可以使得使用者始终面向数据源表进行需求思考。

阅读 2.9k

28赞

收藏 27
Hive建表语句详解及创建表时的分隔符使用 Hive 建表语句和分隔符的使用是 Hive 数据管理的重要组成部分。在创建表时，选择合适的分隔符对于正确解析和处理数据至关重要。通过详细了解 Hive 建表语句的各个组成部分和分隔符的使用方法，可以更好地管理和处理大数据集。本文通过多个实际案例和应用场景，介绍了如何创建内部表和外部表，如何选择和使用分隔符，以及在不同场景下的最佳实践。希望这些内容能帮助读者更好地理解和应用 Hive 建表语句和分隔符，从而提高数据处理和分析的效率。

阅读 2.9k

16赞

收藏 17
架构设计内容分享(二百零一)：什么是数据仓库的架构？企业数据仓库架构如何建设？ 以上报表型、分析型的数据产品，但也会有延申出来的各种特定业务的数据决策系统，比如银行业基于管理层监控的的行长驾驶舱、零售业基于门店数据经营的决策系统，以及电商平台的营销参谋（输入营销目标及参数，比如要开展双十一母婴市场的促销活动，系统可以基于以往海量数据计算出应该选择什么品类的商品，在什么用户群中，以什么形式开展活动效果会更佳），都是基于这样的逻辑——基于业务深度应用。而数据挖掘则是通过历史数据建立模型，在拟合历史的基础上，分析未来趋势，判断哪些因素的改变将很可能意味着客户的最终流失，进而避免其发生。

阅读 1.3k

23赞

收藏 17
作者推荐
lfwh
一个人可能走得更快，但是一群人会走得更远
关注
鹏说大数据
大数据工程师，数据治理专家，数据治理项目负责人，多项目数据治理负责人，实际数据治理项目5年+经验，数据仓库数据开发方向10年+经验。科大讯飞集团技术明星，大数据方向技术明星，技术组长。
关注
吵吵叭火
时间的加法，看似缓慢，却有力量。一步步地点亮大数据领域的星空蓝图~
关注
数字天下
计算机专业，毕业后从事转件开发工作16年，对oracle ，mysql 数据库熟悉。熟悉银行业务，做过数据治理、数仓项目。 最擅长的是数据管理，计算机知识，金融理财。对数码、情感、美食、影视领域也有所擅长。爱好广泛 致力于知识变现、副业的探索
关注
james二次元
分享大数据及AI相关技术，每天进步一点点，和大家一起学习、一起进步！
关注
500佰
腾讯/华为开发者认证、华为职业认证 开发代码库：https://gitee.com/wubaidev
关注
chat2tomorrow
数据库还算可以吧
关注
依晴无旧
专注大数据、Java后端、软件测试、Linux端的技术研究
关注
想做富婆
，
关注
陈腾飞同学
微信公众号：享学大数据
关注