- 博客(104)
- 收藏
- 关注
RSS订阅原创 数据仓库 vs 数据库：核心区别与应用场景全解析
OLTP（联机事务处理）数据库和OLAP（联机分析处理）数据库。OLTP 数据库是支持日常业务运营的实时事务处理系统。数据库的关键特征包括：数据以行和列的形式存储（类似电子表格）表之间存在明确定义的关系数据高度详细且可搜索适合处理实时、频繁的小型事务通常只存储最新状态的数据，历史数据有限想象一下，当你在线购物时，每一笔交易都会实时记录在电商平台的数据库中，确保库存、支付和物流信息的准确性和一致性。数据库的核心价值在于作为业务运营的“实时账本”，确保企业日常交易的可靠性和准确性。
2025-05-28 22:29:03
483
原创 湖仓融合的“最后一公里”：StarRocks 存算分离如何优化湖上实时分析？
镜舟科技作为社区主要贡献团队，成功帮助 50 多家用户上线存算分离架构，包括芒果 TV、吉利汽车、腾讯音乐、OPPO 等 ，并进一步验证了存算分离架构在实际业务场景中的价值。该架构不仅降低了存储成本，提升了查询性能，还简化运维工作，为企业数据战略提供了新的选择。通过将数据存储在低成本的对象存储中，同时利用高效的计算节点进行查询处理，实现了性能与成本的最佳平衡。StarRocks 3.X 版本开始，存算分离架构支持主键模型，通过简单的 update 语句，可以轻松实现数据的实时更新。
2025-05-25 11:37:00
905
原创 什么是实时流数据？核心概念与应用场景解析
本文讨论了在数字经济时代实时流数据成为企业核心竞争力的背景下，对实时流数据的概念、处理流程、应用场景及未来趋势进行解析的内容。
2025-05-21 21:45:51
1236
原创 数据湖和数据仓库的区别
在当今数据驱动的时代，企业需要处理和存储海量数据。数据湖与数据仓库作为两种主要的数据存储解决方案，各自有其独特的优势与适用场景。本文将客观详细地介绍数据湖与数据仓库的基本概念、核心区别、应用场景以及未来发展趋势，帮助读者更好地理解和选择适合自身需求的数据存储方案。
2025-05-21 16:21:07
1057
1
原创 数据仓库是什么？常见问题解答
数据仓库是一个面向主题的、集成的、不可变的、随时间变化的数据集合，用于支持管理决策。它是一种集中式的数据存储系统，将来自不同来源的数据整合在一起，使企业能够进行综合分析和报告。
2025-05-20 21:30:27
1191
原创 时序数据库、实时数据库与实时数仓：如何为实时数据场景选择最佳解决方案？
时序数据库（Time Series Database，TSDB）是一种专门用于存储、处理和分析时间序列数据的数据库系统。时间序列数据是按照时间顺序进行存储和管理的数据，通常包括时间戳和相应的数据值。实时数据库（Real-time Database）是一种能够实时处理数据查询和更新的数据库。这类数据库的目标是在数据产生或更新后尽快地提供数据访问，具有低延迟和高并发性能。实时数据库的核心是提供性能保证，确保系统能在严格的时间限制内（通常是毫秒级到秒级）完成数据的读写操作。
2025-05-18 15:53:35
1028
原创 金融 CDP 进化论：实时用户画像如何倒逼 OLAP 架构升级？
在当今数字化浪潮下，金融机构正面临着前所未有的营销挑战。如何从海量客户中精准识别潜在价值客群，如何在合适的时机触达客户，如何提供个性化的产品推荐——这些问题正困扰着众多金融营销团队。
2025-05-16 17:22:44
612
原创 什么是数据集市（Data Mart）？
数据集市是企业数据仓库的一个子集，专门为特定业务部门或主题设计，提供定制化、结构化的数据存储和分析支持。它帮助企业更高效地满足部门级的业务分析需求，提升数据访问速度和决策效率。
2025-05-12 17:19:03
715
原创 湖仓一体架构在金融典型数据分析场景中的实践
该银行拥有超过数千万个人客户和百数万对公客户，日均交易量超过 500 万笔，数据规模庞大，特别是在客户行为分析等营销决策场景中，数据延迟和查询性能成为制约业务创新的瓶颈。例如，计算一家银行的资本充足率，需要汇总该行所有资产项目并按风险权重分类，涉及信贷、投资、同业等多个业务条线的数据。金融机构，特别是银行业，面临着双重驱动的数据需求：一方面是监管合规的刚性要求，另一方面是业务决策的灵活性需求。在业务高峰期，可以为特定业务线增加计算节点，在低谷期，则可以收缩资源，避免闲置浪费。
2025-05-10 20:46:38
819
原创 什么是开放数据湖（Open Data Lake）？
开放数据湖是一个以开放标准和格式为基础，集中存储来自多源的原始数据的系统，支持多种分析工具和引擎的访问，旨在实现数据的灵活管理和高效利用。如果需要更深入了解，可以参考相关技术文档和案例，了解具体实现和应用场景。
2025-05-05 09:26:28
243
原创 湖仓一体架构解析：如何平衡数据灵活性与分析性能？
在数据爆炸的时代，企业面临着如何高效处理和分析海量数据的挑战。传统架构难以同时满足灵活性和性能需求，湖仓一体架构应运而生。湖仓一体架构代表了数据处理平台的新方向，它不仅技术上融合了数据湖的灵活性和数据仓库的分析能力，更为企业创造了实际业务价值：降低成本、提升性能、简化管理、加速创新。随着技术成熟和生态完善，湖仓一体架构将帮助更多企业释放数据价值，支持数据驱动的业务决策，最终提升企业竞争力。对于正在数字化转型的企业，现在正是评估和规划湖仓一体架构的最佳时机。
2025-05-04 17:06:25
1036
原创 如何高效构建企业级大数据数仓？关键步骤与选型指南
大数据数仓是一个面向主题的、集成的、相对稳定且反映历史变化的数据集合，其核心能力体现在数据整合、分层建模、高效查询和决策支持上。与传统数据库不同，数据仓库专为分析而设计，能够处理海量历史数据并支持复杂的分析查询。在当前国内企业数字化建设浪潮中，数据仓库已经从单纯的报表支持工具，逐渐发展为企业数据资产管理和业务决策的中枢系统。一个设计良好的数据仓库能够打破数据孤岛，实现数据的全域整合和价值挖掘，为企业提供数据驱动的决策支持。成功的数仓建设始于明确的业务需求分析。时效性需求。
2025-05-04 12:40:43
721
原创 大数据平台与数据仓库的核心差异是什么？
大数据平台是为了处理海量、多样化数据而设计的分布式计算和存储系统。它不仅仅是一种技术，而是一整套解决方案，包括数据采集、存储、处理、分析和可视化等多个环节。核心能力海量异构数据的存储与分布式计算实时和批量数据处理支持多种数据格式和来源横向扩展能力强典型组件： 大数据平台通常由 Hadoop / Spark / Flink 等生态系统组成。Hadoop 提供分布式文件系统（HDFS）和资源管理（YARN），Spark 提供内存计算框架，Flink 则专注于流处理。
2025-04-30 23:07:04
1380
原创 StarRocks Lakehouse 如何重构大数据架构？
通过优化的查询执行计划（CBO）向量化执行引擎，StarRocks 能够加速数据湖查询，减少资源消耗，加速数据处理，另外设计智能数据预取和缓存机制，显著提升性能。通过 StarRocks 的存算分离架构，京东物流实现计算节点完全无状态，秒级完成扩缩容，同时不需要数据迁移和均衡，大幅提高资源利用率，另外，分析平台支持按需、按时等多种扩容方式，轻松应对流量波动。支持动态调整资源分配，避免互相干扰，同时能够基于优先级的任务调度，确保关键业务流畅运行，支持资源使用的细粒度控制，提高整体利用率。
2025-04-30 21:06:13
1265
原创 分析型数据库入门指南：如何选择适合你的实时分析工具？
据Gartner最新报告显示，超过75%的企业现已在关键业务部门部署了专门的分析型数据库，这一比例还在持续增长。随着数据量呈指数级增长，传统数据库已无法满足复杂分析场景的需求，促使专门面向分析的数据库技术不断发展。从最初的关系型数据库到现代分析型数据库，这一演变过程反映了企业对高效数据分析的迫切需求。分析型数据库在多个场景中发挥着关键作用：实时报表生成、用户行为分析、大规模数据聚合等。这些场景对数据处理速度、查询灵活性和扩展能力都提出了极高要求，而选择合适的分析型数据库将直接影响企业数据战略的成功与否。
2025-04-27 21:07:30
1082
原创 湖仓一体化（Lakehouse）指什么？有哪些应用场景？
湖仓一体化（Lakehouse）是一种新型开放式架构，它将数据湖和数据仓库的优势充分结合，构建在数据湖低成本的数据存储架构之上，同时继承了数据仓库的数据处理和管理功能，打通数据湖和数据仓库两套体系，让数据和计算在湖和仓之间自由流动。简而言之，湖仓一体化不是简单地将“数据湖”和“数据仓库”拼接在一起，而是一种全新的数据管理模式，将数据仓库构建在数据湖之上，有效简化了企业数据的基础架构，提升数据存储弹性和质量的同时还能降低成本，减小数据冗余。
2025-04-23 21:48:33
721
原创 NoSQL 与 NewSQL 全面对比：如何选择适合你的数据库方案？
文档型（如 MongoDB）：存储半结构化 JSON 文档键值型（如 Redis）：高性能的键值存储列族型（如 Cassandra）：适合海量数据的列式存储图数据库（如 Neo4j）：专为关系网络设计这种多样性使得开发团队可以根据数据特性选择最适合的存储模型，而不是将所有数据强制适应关系表。NewSQL 试图兼顾关系型数据库的 ACID 特性与 NoSQL 的水平扩展能力，代表产品包括 Google Spanner、TiDB、CockroachDB 和 StarRocks 等。
2025-04-17 22:27:56
944
原创 镜舟科技助力某大型电网企业破解数据架构升级难题，打造国产化湖仓标杆
在 “十四五” 规划全面推进国产化替代的背景下，该项目实现 PB 级电力数据的统一管理，为能源行业核心系统国产化升级提供了可复制的技术范本。
2025-04-16 21:45:18
960
原创 如何选择分析型数据库？企业级选型指南与 2025 趋势解读
分析型数据库（OLAP）与事务型数据库（OLTP）有本质区别：OLAP 专为复杂分析查询优化，而 OLTP 侧重于高频事务处理。这种架构差异决定了它们在企业数据架构中的不同定位。
2025-04-16 19:09:44
892
原创 如何高效使用 Text to SQL 提升数据分析效率？四个关键应用场景解析
Text to SQL 是一种将自然语言转换为 SQL 查询语句的 AI 技术，它利用自然语言处理（NLP）和机器学习算法理解用户的问题，并生成相应的 SQL 代码。这项技术的核心优势在于，它搭建了技术人员和非技术人员之间的桥梁，让人人都能进行数据分析。快速生成临时分析报表非技术人员进行自助数据探索跨部门数据协作，减少沟通成本Text to SQL 技术并非要替代数据分析师，而是通过消除技术障碍，让他们能将更多精力投入到真正有价值的分析思考中。
2025-04-15 18:51:28
1076
原创 镜舟科技亮相 2025 中国移动云智算大会，展示数据湖仓一体创新方案
在本次大会上，镜舟科技重点展示了基于镜舟数据库的 Lakehouse 解决方案，该方案融合了数据湖与数据仓库的优势，为企业提供统一的数据管理与分析能力。随着 AI 技术的快速发展与普及应用，数据基础设施的重要性日益凸显。此次云智算大会的成功举办，不仅展示了中国移动在云计算与智能算力领域的领先地位，也为镜舟科技提供了展示技术实力的重要平台。未来，镜舟科技将继续深耕开源技术创新，加强与移动云等战略伙伴的合作，为企业数字化转型提供更加高效、可靠的数据解决方案，共同推动数据基础设施建设与智能化应用发展。
2025-04-11 21:19:14
326
原创 从 Greenplum 到 StarRocks：头部金融客户如何通过架构升级实现“实时分析自由”？
当前金融机构面临的不仅是数据量的爆发式增长，更是业务对数据实时性的刚性需求。传统的 T+1 数据处理模式已无法满足市场竞争与监管合规的双重压力。实时分析型数据库已从可选技术升级为战略必备工具。
2025-04-11 19:02:17
724
原创 MPP 架构解析：原理、核心优势与对比指南
MPP 架构（Massively Parallel Processing，大规模并行处理）是一种分布式计算架构，通过将数据和计算任务分散到多个独立节点，实现高性能数据处理。分布式计算：单条 SQL 查询被智能拆解为多个子任务，由不同节点并行执行。例如，一个涉及 10 亿条记录的聚合查询，在 100 节点 MPP 集群中，每个节点仅需处理 1000 万条记录，实现 “分而治之”。无共享架构（Shared-Nothing）：每个计算节点拥有专属 CPU、内存和存储资源，节点间通过高速互联网络协作，避免资源竞争。
2025-04-10 17:50:50
1043
原创 表 vs 物化视图：核心区别与选型指南
表（Table）是数据库中最基础的数据存储单元，以行列结构直接存储原始数据，例如订单表、用户表等。数据写入后，表的内容需要手动更新或通过 ETL 任务维护。物化视图是一种特殊的数据对象，存储的是预计算的查询结果（如聚合、连接等操作后的数据）。例如，将每日订单总额预计算后保存，后续查询可直接读取结果，无需重复计算。在 StarRocks 中，表支持多种数据模型（明细、聚合、更新等），而物化视图通过预计算机制加速查询，并支持自动或手动刷新，与查询优化器深度集成。
2025-04-09 21:27:54
929
原创 什么是 StarRocks？核心优势与适用场景解析
例如，电商大促期间的交易监控、广告投放效果的即时反馈等场景，均要求毫秒级的响应速度。然而，传统工具如 Hadoop、Hive 等存在明显短板：复杂查询性能不足、资源扩容成本高、实时与离线数据处理割裂等问题。StarRocks 是一款新一代极速全场景 MPP（Massively Parallel Processing）数据库，通过极简架构和高性能引擎，帮助企业在海量数据中快速获取洞察，同时降低技术复杂度和运维成本。建议企业从实际业务痛点出发，优先在实时监控、高并发分析等场景验证 StarRocks 的价值。
2025-04-03 22:36:54
1251
原创 深入理解 StarRocks Bitmap 索引和 Bitmap 去重
StarRocks 的 Bitmap 索引通过高效的数据结构设计和优化机制，在特定场景下能够显著提升查询性能，尤其适用于低基数列的过滤和统计操作。具体来说，Bitmap 索引通过将数据映射为位图（bit array），每个 bit 对应表中的一个数据行，根据行的值决定 bit 的 0 或 1 状态，从而实现高效的集合运算和过滤操作。StarRocks 中的 Bitmap 索引是一种特殊的数据库索引，其主要作用是优化查询性能，特别是在处理低基数列（如性别、地区等）和高基数列的过滤查询中表现突出。
2025-04-02 10:58:24
772
原创 迈向云原生：理想汽车 OLAP 引擎变革之路
在如今数据驱动的时代，高效的分析引擎对企业至关重要。理想汽车作为智能电动汽车的领军企业，面临着海量数据分析的挑战。本文将展开介绍理想汽车 OLAP 引擎从存算一体向云原生架构演进的变革历程，以及在此过程中面临的挑战，以及是如何通过镜舟数据库存算分离架构解决这些问题的。
2025-04-01 21:22:35
854
原创 镜舟科技荣膺“北京市用户满意企业”认证，以用户为中心驱动高质量发展
本次“北京市用户满意企业”认证是落实“十四五”质量强国战略的重要举措，评选严格遵循《北京市用户满意认定规范》T/BJEQ002-2022的技术指标体系，对企业的用户满意度管理、产品质量、服务水平等多维度进行全面考核。近日，镜舟科技正式获颁"北京市用户满意企业"证书，这一权威认证由北京质协用户评价中心、北京市用户满意认定办公室联合颁发。未来，镜舟科技将继续深化用户需求洞察，优化服务流程，以更高质量的产品和服务回馈用户的信任，助力各行业客户实现数字化转型升级，共同推动中国数据智能产业高质量发展。
2025-03-27 17:49:19
422
原创 Apache Iceberg 解析，一文了解Iceberg定义、应用及未来发展
Iceberg：新一代数据湖仓实践之基础组件之一，助力企业数据架构升级。
2025-03-26 22:54:49
872
原创 深入理解 Bitmap 索引：原理、场景与应用案例
Bitmap 索引是特定场景下的性能加速器，尤其适合低基数列上的复杂查询。使用时需权衡数据更新频率、基数高低以及业务需求，避免滥用导致性能反噬。在实际应用中，结合 StarRocks 的自适应机制，合理设计索引策略，方能最大化提升查询效率。尤其是在大规模数据分析、用户行为画像、实时报表等场景中，StarRocks 的 Bitmap 索引能发挥出色的性能优势。
2025-03-24 17:42:11
1009
原创 物化视图详解：数据库性能优化的利器
物化视图本质上是一种预先计算并存储查询结果的数据库对象。物化视图存储实际数据，而普通视图仅保存查询定义占用物理存储空间，可以被索引和优化支持多种更新机制，包括定时刷新、触发式刷新或手动刷新特别适合复杂查询加速和数据仓库预计算场景物化视图相当于查询结果的一份"缓存"，通过牺牲一定的存储空间和数据实时性，换取显著的查询性能提升。物化视图特别适用于读多写少、计算复杂且时效性要求适中的场景。建议从核心业务报表场景切入，通过详细的性能监控数据验证效果，然后逐步扩展到更多业务模块。
2025-03-23 20:10:03
1130
原创 StarRocks 主键（Primary Key）深度解析
StarRocks 是一款高性能分析型数据库，专为海量数据的实时分析而设计。作为新一代湖仓（Lakehouse）加速引擎，StarRocks 融合了 MPP 架构和列式存储引擎的优势，能够支持亿级数据秒级查询响应。核心特性全面的数据模型：支持明细模型、主键模型和聚合模型，满足多样化业务场景实时数据分析：提供高效的数据导入与更新能力，支持实时数据处理分布式架构：采用无共享（Shared-Nothing）架构，支持水平扩展向量化执行引擎：通过 SIMD 指令集优化，实现高效计算智能查询优化。
2025-03-20 21:53:00
1149
原创 2025 Lakehouse 趋势全景展望：从技术演进到商业重构
在数据要素价值化与 AI 爆发的双重驱动下，湖仓一体（Lakehouse）已从技术概念演进为支撑企业数字化转型的核心底座。1. 建立面向开放表格式的数据治理体系，通过 Iceberg/Hudi/Paimon/Delta Lake 等标准接口实现跨平台数据引用；2. 将实时湖仓能力建设纳入战略优先级，借助 StarRocks 等实时引擎释放流式数据价值；3. 在 AI 基础设施规划中，预留非结构化数据处理能力，构建支持多模态数据应用的未来架构。
2025-03-03 22:42:53
1266
1
原创 镜舟数据库：3倍性能重构零售“人、事、物”数据体系
同时，基于镜舟数据库的标准化的数据服务接口，实现人群包与下游营销系统高效对接，提供实时、精准的数据服务，高效支撑营销推广业务，通过 AB 测试对比短信触达组/对照组的转化差异，实时优化投放策略。在“人”的维度上，通过线上 APP、官网、小程序以及线下门店收银系统、CRM 等渠道，实现对消费者全方位数据洞察，建立精准用户画像，对开展的营销活动进行效果评估。以某国际连锁零售企业为例，其在国内拥有数千家门店，覆盖数千万会员群体，业务涵盖商品销售、会员运营、供应链管理等多维度场景。
2025-02-24 14:38:58
875
原创 镜舟科技入选2024 中国大数据产业年度「国产化」优秀代表厂商
通过了中国信通院的软件产品代码自研水平评估，也获得了中国软件测评中心的可信数据库测评认证，确保产品在企业的应用过程中的数据安全与可靠。将紧跟大数据产业的发展趋势，积极响应国家关于加快国产化、信创进程的政策号召，持续加大研发投入，进一步推动技术创新与产业升级。同时，镜舟科技作为信息技术应用创新工作委员会的技术活动单位，积极参与信创工委会的相关工作，推动行业的规范发展。未来，镜舟科技将深耕数据分析领域，不断提升产品性能和服务质量，为客户提供更加高效的数据分析解决方案。，展现了其在国产化、信创道路上的成果。
2025-01-06 10:51:09
486
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人