- 博客(195)
- 收藏
- 关注
RSS订阅原创 Apache Doris 2.1.6 版本正式发布
亲爱的社区小伙伴们，2.1.6 版本在 Lakehouse、异步物化视图、半结构化数据管理持续升级改进，同时在查询优化器、执行引擎、存储管理、数据导入与导出以及权限管理等方面完成了若干修复。欢迎大家下载使用。
2024-09-20 11:05:50
825
原创 查询性能提升 10 倍、存储空间节省 65%，Apache Doris 半结构化数据分析方案及典型场景
随着业务的蓬勃发展，各企业对数据处理的灵活性和可扩展性提出了更高的要求。在此背景下，JSON、XML 等半结构化数据凭借其较强的灵活性在众多企业得到广泛应用。然而，传统关系型数据库结构严格，难以应对半结构化数据的复杂性及多样性。本文我们将聚焦企业最普遍使用的 JSON 数据，分别介绍业界传统方案以及半结构化数据存储分析的三种方案，并通过图表直观展示这些方案的优势与不足。同时，结合具体应用场景，分享不同需求场景下的使用方式，帮助用户快速选择最合适的 JSON 数据存储及分析方案。
2024-09-13 10:58:15
1244
原创 Apache Doris Flink Connector 24.0.0 版本正式发布
亲爱的社区伙伴们，Apache Doris Flink Connector 24.0.0 版本已于 2024 年 9 月 5 日正式发布。该版本新增了对 Flink 1.20 的支持，并支持通过高速读取 Doris 中数据。此外，整库同步所依赖的 FlinkCDC，也需升级至 3.1.x 版本，以便更好的应用。
2024-09-11 17:50:58
663
原创 SelectDB 多计算集群核心设计要点揭秘与场景应用
为了达到数据的强一致访问，SelectDB 不仅实现了数据的共享化，也进行了深度重构，实现元数据的共享化：当数据通过其中一个集群写入共享存储后，会先更新共享的元数据，再返回数据写入结果。如果能引入多个计算集群，通过独立的计算集群分别进行写入、读取操作，即使在写入压力非常高时，也可放心执行计算任务，无需担心影响到服务的稳定性。对于计算集群的使用，SelectDB 提供一套简单易用的权限机制，集群支持类似库表的权限分配机制，只有给用户分配了某集群的权限，用户才可以使用该集群，从而避免集群误用情况。
2024-09-11 17:49:56
1325
原创 兼容Trino Connector，扩展Apache Doris数据源接入能力｜Lakehouse 使用手册（四）
Apache Doris 内置支持包括 Hive、、LakeSoul、JDBC 在内的多种 Catalog，并为其提供原生高性能且稳定的访问能力，以满足与数据湖的集成需求。而随着 Apache Doris 用户的增加，新的数据源连接需求也随之增加。因此，Trino/Presto 作为业界较早应用于湖仓查询、联邦分析的计算引擎，以广泛的数据源对接能力闻名。
2024-09-06 12:14:15
1398
原创 招联金融基于 Apache Doris 数仓升级：单集群 QPS 超 10w，存储成本降低 70%
在竞争激烈的消费金融市场中，有效利用海量数据、提升业务运营效率是赢得市场的关键。早期招联采用典型的 Lambda 架构提供业务报表、数据运营、个性推荐、风险控制等数据服务，而 Lambda 过多的技术栈也引发了数据孤岛、查询效率不足、代码复用性差以及开发运维成本高昂等诸多问题。因此，招联引入对架构进行了升级，不仅替换了冗余的技术栈，还实现了实时数仓存储和计算引擎的统一，从而大幅精简了整体架构。
2024-08-29 18:51:41
945
原创 从 7000 余项目脱颖而出，飞轮科技《新一代实时分析数据仓库解决方案》荣获 HICOOL 2024 全球创业大赛二等奖
HICOOL 2024 全球创业者峰会于 2024 年 8 月 23 日 -25 日 在中国国际展览中心（顺义馆）成功举行，峰会以“新质引领 创新共融”为主题，聚焦技术创新、产业融合、新质共享与国际合作四大要素。在 8 月 23 日晚的峰会开幕式上，举行 HICOOL 2024 全球创业大赛颁奖盛典，共颁发一等奖 12 个、二等奖 36 个、三等奖 68 个、优胜奖 84 个。
2024-08-29 18:49:18
996
原创 AI大模型独角兽 MiniMax 基于 Apache Doris 升级日志系统，PB 数据秒级查询响应
作者：MiniMax 基础架构研发工程师 Koyomi、香克斯、TinkerMiniMax 是领先的通用人工智能科技公司，自主研发了不同模态的通用大模型，其中包括拥有万亿参数的 MoE 文本大模型、语音大模型以及图像大模型。MiniMax 以“与用户共创智能”为愿景，通过对大模型持续迭代，MiniMax 在国内率先完成核心 MoE 算法技术路线的突破。2024 年 4 月，公司推出国内首个上线商用的 MoE 架构、包含万亿参数的大语言模型——“MiniMax-abab 6.5”，模型性能接近国际领先水平。随
2024-08-22 18:54:15
1199
原创 飞轮科技首席执行官马如悦受邀出席可信数据库发展大会，三大事件，一文解读！
SelectDB 支持 100 万行/秒的实时写入，也支持流式的从 OLTP 数据库和 Kafka 同步数据，同时支持亚秒级查询响应，单机上万 QPS 的高并发点查。
2024-08-13 18:02:06
796
原创 Apache Doris + Iceberg 快速搭建指南｜Lakehouse 使用手册（三）
湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，能够更加便捷地满足各种数据处理分析的需求。持续加深与数据湖的融合，已演进出一套成熟的湖仓一体解决方案。我们将通过一系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的湖仓一体架构搭建指南，包括、Iceberg、OSS、Delta Lake、Kudu、BigQuery 等。
2024-08-02 16:57:14
841
原创 Apache Doris + Paimon 快速搭建指南｜Lakehouse 使用手册（二）
湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中，持续加深与数据湖的融合，已演进出一套成熟的湖仓一体解决方案。为便于用户快速入门，我们将通过系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的湖仓一体架构搭建指南，包括 Hudi、Iceberg、Paimon、OSS、Delta Lake、Kudu、BigQuery 等。目前，我们已经发布了。
2024-07-25 14:26:06
683
原创 Apache Doris 2.1.5 版本正式发布
亲爱的社区小伙伴们，Apache Doris 2.1.5 版本已于 2024 年 7 月 24 日正式发布。2.1.5 版本在湖仓一体、多表物化视图、半结构化数据分析等方面进行了全面更新及改进，同时在倒排索引、查询优化器、查询引擎、存储管理等 10 余方向上完成了若干问题修复，欢迎大家下载使用。
2024-07-25 14:24:20
665
原创 计算效率提升 30 倍、存储资源节省 90%，雨润集团基于 Apache Doris 的统一实时数据仓库建设实践
作者：石公星，雨润集团基础数据平台架构师导读：数字化转型的浪潮中，高效准确的数据分析能够帮助雨润集团快速洞察市场动态、优化供应链管理、提高生产效率。雨润集团引入了 Apache Doris 构建了统一实时数据仓库，实现了计算效率提升 30 倍、存储资源节省 90%、成本降低超 100 万、人员效率提升 3 倍，为智能化、高效化转型指明了方向。
2024-07-18 18:43:46
1119
原创 “SelectDB 实时数据仓库解决方案”入围工信部“信息技术应用创新典型解决方案”
目前，飞轮科技已与兆芯、飞腾、海光信息、统信软件、中科可控、麒麟软件、中国电子云等行业内超 40 家企业达成生态合作，核心产品 SelectDB 与国产主流信创产品均完成兼容适配，包括麒麟、统信、欧拉、飞腾、海光、鲲鹏等，覆盖从芯片、服务器到操作系统的多款国产化信创产品，在产品层面具备完整的信创能力。截至目前，飞轮科技已服务全球上千家金融、电信、制造、能源、汽车、物流、政务等中大型企业，并基于丰富的行业经验，沉淀了实时报表与分析、用户画像与行为分析、湖仓一体、日志存储与分析等成熟的解决方案。
2024-07-16 19:38:54
717
原创 Apache Doris + Apache Hudi 快速搭建指南｜Lakehouse 使用手册（一）
技术团队导读：湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中，Apache Doris 持续加深与数据湖的融合，已演进出一套成熟的湖仓一体解决方案。
2024-07-11 14:31:34
697
转载 一文让您读懂 ETL
Apache Doris是一个基于MPP（大规模并行处理）架构的高性能、实时的分析型数据库，旨在为用户提供毫秒级查询响应、高并发、高可用以及易于扩展的OLAP（联机分析处理）解决方案。它融合了MPP架构与分布式存储，支持PB级别的数据存储和分析，是大数据场景下理想的实时数仓选择。除此之外，2.0 版本针对 ETL 场景还做了一些性能优化：比如解决了内存资源耗费的情况。
2024-07-05 19:27:25
359
转载 日志分析的重要性，日志分析应用场景
日志分析，简而言之，就是对系统、应用或服务在运行过程中产生的日志数据进行收集、整理、分析和挖掘的过程。这些日志数据记录了系统运行的各种信息，包括用户行为、系统性能、异常事件等。通过对这些数据的分析，我们可以深入了解系统的运行状况，发现潜在问题，为优化系统性能、提升用户体验、确保系统安全提供有力支持。
2024-07-05 19:26:16
103
原创 从 ClickHouse 到 Apache Doris：快成物流的数智化货运应用实践
截至目前，基于 Apache Doris 的大数据算法平台已经接入了近 10 个物流大数据业务线，部署生产集群 2 套，存储数据总量达百亿级规模，覆盖实时数仓、BI 多维分析、用户画像、货运轨迹信息系统等业务场景，查询效率大幅提升，其简洁的开发架构与经济的资源存储方案，为业务与开发人员带来极大便利与效益增长。无论是即席分析场景的多表复杂关联，还是用户画像、特征、实时报表场景的高 QPS 点查，都可以轻松支持；数据湖分析能力强大：可轻松与 Hive、Hudi、JDBC、ES 构建统一语法的联邦查询；
2024-07-03 19:02:01
1026
转载 企业大数据分析用什么数据仓库好？
大数据时代，企业数据分析已经成为推动业务决策、优化运营和创造价值的关键因素。在这个过程中，数据仓库的选择显得尤为重要。一个合适的数据仓库不仅可以满足企业数据存储、管理和分析的需求，还能显著提升数据处理效率，为业务决策提供有力支持。
2024-06-28 16:58:07
79
转载 如何理解数据仓库领域的 Ad Hoc？
随着大数据时代的来临，数据仓库成为了企业存储、管理和分析海量数据的重要基础设施。而在数据仓库的应用中，Ad Hoc查询凭借其灵活性和即时性，受到了广泛的关注和应用。接下来为您深入讲解 Ad Hoc 。
2024-06-28 16:57:12
155
原创 Apache Doris 2.0.12 版本正式发布
亲爱的社区小伙伴们，版本已于 2024 年 6 月 27 日正式与大家见面，该版本提交了 99 个改进项以及问题修复，欢迎大家下载体验。
2024-06-28 15:47:49
539
原创 网易游戏如何基于 Apache Doris 构建全新湖仓一体架构
对于该需求，我们可以基于常用的数据维度设计物化视图，来满足用户绝大部分自定义聚合查询的需求。Doris 的一大优势在于能够自动识别并匹配最优物化视图进行查询，因此建议可设计 2-3 个物化视图，过多的物化视图可能会对数据导入速度造成影响。
2024-06-28 15:46:36
4293
原创 Apache Doris 2.1.4 版本正式发布
亲爱的社区小伙伴们，Apache Doris 2.1.4 版本已于 2024 年 6 月 26 日正式发布。在 2.1.4 版本中，我们对数据湖分析场景进行了多项功能体验优化，重点修复了旧版本中异常内存占用的问题，同时提交了若干改进项以及问题修复，进一步提升了系统的性能、稳定性及易用性，欢迎大家下载使用。
2024-06-26 19:39:47
1212
原创 抖音集团基于 Apache Doris 的实时数据仓库实践
在直播、电商等业务场景中存在着大量实时数据，这些数据对业务发展至关重要。而在处理实时数据时，我们也遇到了诸多挑战，比如实时数据开发门槛高、运维成本高以及资源浪费等。此外，实时数据处理比离线数据更复杂，需要应对多流 JOIN、维度表变化等技术难题，并确保系统的稳定性和数据的准确性。本文将分享基于的实时数仓架构在不同业务场景的实践经验，以及该架构带来的收益。
2024-06-26 11:50:24
877
转载 数据仓库实时性差、维护成本高怎么办？
数据仓库实时性差、维护成本高是企业面临的重要挑战。在信息化快速发展的时代，数据仓库作为存储、管理和分析企业海量数据的重要基础设施，其性能和成本效益成为了企业关注的焦点。云原生（Cloud Native）是一种基于云计算的软件开发和部署方法论，它强调将应用程序和服务设计为云环境下的原生应用，以实现高可用性、可扩展性和灵活性。传统的数据仓库架构通常采用ETL（Extract, Transform, Load）过程来抽取、转换和加载数据，这个过程往往需要花费较长时间，导致数据仓库中的数据无法实时反映业务变化；
2024-06-21 19:57:22
69
转载 即席查询和 OLAP 的区别是什么？
OLAP 还适用于与其他系统集成的场景。小米公司基于Doris构建了增长分析平台(GrowingAnalytics，GA)，利用用户行为数据对业务进行增长分析，平均查询延时10s，95分位的查询延时30s以内，每天的SQL查询量为数万条。即席查询是一种灵活、快速的数据查询方式，用户可以根据自己的需求，随时在数据库中执行查询操作，无需预先定义查询语句或构建报表。OLAP 是一种针对大数据集进行复杂分析的技术，它通过提供多维数据模型和多维查询功能，帮助用户从不同角度和层次上对数据进行分析和查询。
2024-06-21 19:56:06
101
原创 《SelectDB 新一代日志存储分析平台解决方案》白皮书重磅发布｜立即下载
作为基于 Apache Doris 打造的现代化数据仓库，SelectDB 不拘泥于传统数仓的限制，针对日志数据的特点引入了多项创新性技术，使用户可基于 SelectDB 构建开放、高性能、低成本、统一的日志存储分析平台， 截至目前已在近百家行业内知名企业中落地。
2024-06-18 21:17:29
713
原创 Apache Doris 全新分区策略 Auto Partition 应用场景与功能详解 ｜ Deep Dive系列
自 Apache Doris 2.1 版本起，许多用户已经使用该功能简化了工作流程，并且极大的便利了从其他数据库系统迁移到 Doris 的工作，即使面对高负载、集群压力较大的情况，开启 Auto Partition 的导入性能表现依旧出色，足以满足实际生产环境的使用需求。
2024-06-17 21:12:06
1596
转载 物化视图是什么，物化视图和视图最大区别
3.外表到内表的物化视图： 可以对存放在 Hive、Hudi、Iceberg 等数据湖系统上的数据建立物化视图，加速对数据湖的访问，也可以通过物化视图的方式将数据湖中的数据同步到 Apache Doris 内表中。4.物化视图直查： 用户也可以将物化视图的构建看做 ETL 的过程，把物化视图看做是 ETL 加工后的结果数据，由于物化视图本身也是一个表，所以用户可以直接查询物化视图。1. 提高查询性能：物化视图预先计算并存储查询结果，当查询请求到达时，可以直接返回结果，而无需重新计算，从而提高查询性能。
2024-06-14 15:41:37
142
1
转载 保险行业分散的数据如何实现精细化运营
在经过调研选型后，如图所示，我们发现 Apache Doris 非常符合升级需求，不仅能够覆盖常规业务场景，满足写查性能需求，同时，基于 Apache Doris 统一技术栈也将大幅度降低架构复杂度，减少运维、开发以及使用成本，最大化提升架构性能。基于 Apache Doris 统一 OLAP 多个技术栈，并将标签与指标标准化开发与管理，共同提供统一的数据服务，使业务分析师能够进行自助式的数据探查，减少对技术人员的依赖，同时，通过方便快捷地访问、分析和可视化各种数据资源，实现数据高效、低成本的交付。
2024-06-14 15:40:01
65
转载 如何提高物流管理系统工作效率，实时数仓助力
早期数仓架构主要分为两套基于 CDH 的大数据集群，主要由数据应用、任务调度、计算引擎、监控报警、分布式协调、资源管理、数据存储、实时分发、数据采集和数据源等模块组成，两套架构根据不同产品线的数仓需求、数据大屏和 BI 报表等应用，选择不同的任务调度，数据存储和计算引擎，例如 MongoDB 数据源的计算引擎，选择 Hive 、Impala 、Flink、Spark 做计算，这两套架构是独立的数据管道，具有耦合度低，集群间相互独立等特点，便于精细化管理。这导致数据处理速度缓慢，无法及时满足企业的实时需求。
2024-06-07 19:57:04
84
转载 传统数据库和云原生实时数仓的区别
传统数据库，也被称为关系型数据库，主要用于存储和管理结构化的数据，如文本、数字和日期等。它结合了云计算和实时分析技术的优势，能够实时收集、存储、处理和分析大规模数据。SelectDB是一款新型的数据库解决方案，它结合了传统数据库的稳定性和新一代实时数仓的灵活性。- 学习和迁移成本：对于习惯使用传统数据库的开发者和企业来说，学习和迁移到新一代实时数仓可能需要一定的时间和资源。- 易于操作：提供了各种操作数据的工具，如查询、排序、过滤等，方便数据的处理和分析。- 结构化：数据以表格形式存储，组织和管理方便。
2024-06-07 19:56:07
67
原创 Apache Doris 2.0.11 版本正式发布
版本已于 2024 年 6 月 5 日正式与大家见面，该版本提交了 123 个改进项以及问题修复，进一步提升了系统的性能及稳定性，欢迎大家下载体验。整个切换过程对用户无感知，写入和查询没有变化，此外用户可以修改 FE 配置。如果表只进行了部分分析，忽略最小/最大列统计以避免低效的查询计划。在无法转移到（非）主节点时，FE退出以防止未知状态和过多日志。添加查询选项以支持短路查询，保证升级兼容性。由于倒排索引已经成熟稳定，可以替换老的。在删除统计表时写入审计日志。支持集合操作减法，例如。亲爱的社区小伙伴们，
2024-06-06 18:47:49
713
原创 毫秒级查询性能优化实践！Apache Doris 在极越汽车数字化运营和营销方向的解决方案
截至目前，基于 Apache Doris 的数据智能服务体系已经部署了近十套生产集群，节点规模已经接近百台，存储的数据总量达数百 T，覆盖了实时数仓、BI 多维分析、用户画像、车云中心（Serving）、日常分析等多个业务场景。从业务侧来看，Apache Doris 为极越汽车在提升客户用车体验、实时监测车辆信息、保障安全驾驶等方面提供了更全面、更准确的业务洞察和决策支持，有力推进了极越汽车创新数字化服务的步伐。
2024-06-06 17:41:25
1017
原创 基于 Apache Doris 的实时/离线一体化架构，赋能中国联通 5G 全连接工厂解决方案
70% 的核心业务实现准实时：通过 Flink CDC + Doris 为核心业务构建实时链路，通过 JDBC Catalog 对边缘业务进行定时批量拉取，成功实现 70% 核心业务的准实时数据处理。利用 Doris 的强大计算能力，承担了当前平台 90%以上的实时计算。利用 JDBC 与 Doris 的维度建模定时产出报表数据，从而实现毫秒级的报表查询，为业务提供了快速高效的报表数据分析能力。在线实时分析、多维分析。
2024-05-31 18:40:50
1132
1
转载 实时数仓的日志管理与分析解决方案
为了解决以上难题，通过接入SelectDB 的倒排索引能力、Variant 数据类型、冷热数据分层存储等特性，为实时数仓日志存储和分析场景服务注入强大的动力，相对于使用ES产品，SelectDB可以实现存储成本降低 70% 的同时，查询性能提升 2-4 倍，最终实现整体性价比 10 倍提升！通过对这些数据的分析，运维人员可以了解系统的整体健康状况，预测并避免潜在的系统故障。随着时间的推移，日志数据规模会不断增长，存储量会达到非常巨大的规模，当前常见的解决方案存储成本高，难以满足日志数据长周期存储需求。
2024-05-31 15:30:48
60
转载 实时数仓用户画像与行为分析解决方案
通过分析收集到的数据，CDP可以形成用户360度全景画像，洞察用户的行为、兴趣、需求等信息，更好地把握用户的生命周期，为企业提供精细化的营销和服务。同时，通过用户行为分析，将用户数据与业务场景结合，实现个性化、精细化的运营，以更加灵活的方式，触达不同场景下的用户，提升用户的体验。客户数据资产沉淀：将用户数据管理平台作为企业客户主数据中心，清洗并整合多源客户数据，如CRM系统中的结构化数据，客服产生的非结构化的通话记录，埋点程序捕捉的用户交互行为数据等；当前的解决方案难以实时响应查询需求。
2024-05-31 15:28:47
110
原创 现代化实时数仓 SelectDB 再次登顶 ClickBench 全球数据库分析性能排行榜！
为了更准确地模拟真实业务环境中的分析负载，我们后续将进一步针对 Apache Doris 以及 SelectDB 发布多个涵盖不同分析场景的测试报告，以确保测试结果能够更全面地反映数据库系统在各种业务场景下的性能表现，为用户提供更具参考价值的测试数据。就查询性能而言，会分别对每条 SQL 执行 Hot Run 和 Cold Run 来统计时长，即重复执行 3 次 SQL 并取其中耗时最短的一次以及启动并清理内存后直接执行，最终对所有 SQL 的执行耗时与基线的比值进行几何平均，即为最终测试结果。
2024-05-30 11:12:14
2650
转载 实时数仓MPP查询架构和原理
实时数仓MPP查询的结构和原理是构建高效数据处理和分析系统的核心。MPP（Massively Parallel Processing）架构，通过并行处理和分布式计算，实现了对大规模数据的快速分析和查询。在查询引擎方面，Doris 采用 MPP 的模型，节点间和节点内都并行执行，也支持多个大表的分布式 Shuffle Join，从而能够更好应对复杂查询。
2024-05-24 17:47:10
102
转载 实时数仓核心技术点：列式存储
实时数仓的存储方式有行式存储和列式存储，所谓行式存储，指存储结构化数据时，在底层的存储介质上，数据是以行的方式来组织的，即存储完一条记录的所有字段，再存储下一条数据的所以字段，以此类推；
2024-05-24 17:44:46
87
《SelectDB 新一代日志存储与分析解决方案白皮书》
2024-06-19
Apache Doris 用户案例集
2023-06-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人