- 博客(29)
- 收藏
- 关注
RSS订阅原创 Flink 系列第10篇：Flink 分布式缓存详解
Flink分布式缓存机制允许并行函数高效访问本地或远程文件。通过ExecutionEnvironment注册文件后，Flink会自动将文件同步到所有TaskManager节点本地文件系统。在RichFunction中，可通过RuntimeContext获取缓存文件，在open()方法中初始化读取，避免重复拉取。示例代码展示了如何注册本地文件，在RichMapFunction中读取缓存内容并与输入数据结合处理。输出结果验证了缓存文件被正确读取并用于每条记录的处理。该机制有效减少了网络开销，提高了作业执行效率。
2026-04-15 16:44:17
105
原创 Flink 系列第9篇：Flink 重启策略详解
Flink提供了三种重启策略：固定间隔策略（按固定次数和间隔重启）、失败率策略（限制时间段内的失败次数）和无重启策略。配置方式包括全局配置（flink-conf.yaml）和应用代码动态配置。默认情况下，未启用Checkpointing时使用无重启策略，已启用则使用固定间隔策略。代码示例展示了三种策略的具体实现方式，开发者可根据业务需求选择适合的重启机制来保障作业稳定性。实际应用中需注意后配置的策略会覆盖前一种策略。
2026-04-13 08:26:07
644
原创 Flink 系列第8篇：Flink Checkpoint 全解析（原理+流程+配置+优化）
本文深入解析了Flink流处理中的精确一次语义实现机制。首先介绍了流处理的三种数据处理语义（最多一次、至少一次、精确一次）及其适用场景，重点阐述了端到端精确一次的实现条件。其次详细讲解了分布式快照理论，特别是Chandy-Lamport算法的核心原理，包括标记消息、进程状态和通道状态等关键概念。然后剖析了Flink Checkpoint机制的实现，包括Barrier的工作原理、插入时机和处理方式，以及Checkpoint协调者的职责。最后通过具体场景示例，说明了Exactly-Once语义下多流对齐的实现原
2026-04-12 09:35:52
557
原创 Flink 系列第7篇：Flink 状态管理全解析（原理+类型+存储+实操）
本文深入解析Flink状态管理机制，从核心概念、分类体系到具体实现。首先区分无状态与有状态计算，重点介绍Keyed State和Operator State两种作用域分类。Keyed State作为业务核心，详解其5种类型（ValueState、ListState、MapState等）及适用场景，包括状态生命周期管理和访问模式。文章面向Flink开发人员，帮助掌握状态管理技巧，解决大状态、扩缩容等生产问题，保障作业稳定运行。通过理解状态管理机制，可高效实现实时统计、复杂事件处理等高级功能。
2026-04-11 14:57:07
738
原创 Flink 系列第6篇：Watermark 水印全解析（原理+实操+避坑）
Flink Watermark（水印）是处理事件时间（EventTime）窗口计算的核心机制，用于解决数据乱序和延迟计算问题。水印本质是单调递增的时间戳，表示“所有时间戳≤水印的数据已到达系统”，触发窗口计算并平衡实时性与准确性。Flink提供周期性（Periodic）和标点式（Punctuated）两种水印生成策略，内置forMonotonousTimestamps（无乱序场景）和forBoundedOutOfOrderness（允许延迟）两种常用实现。通过assignTimestampsAndWater
2026-04-10 11:19:40
673
原创 Flink 系列第5篇：Flink 窗口模型精讲（含实操代码）
本文详细解析Flink窗口模型，帮助开发者掌握无界数据流的分段统计技术。文章首先介绍窗口核心概念，包括时间窗口和计数窗口的分类及属性配置。随后重点讲解四种时间窗口（滚动、滑动、会话、全局窗口）的实现逻辑和应用场景，提供Scala/Java代码示例。最后解析计数窗口的API实现，通过元素个数触发统计。全文结合图示和实操代码，帮助读者深入理解窗口工作机制，解决数据丢失、重叠等常见问题，适用于Flink开发者及大数据初学者。
2026-04-09 17:59:02
665
原创 Flink 系列第4篇：Flink 时间系统与 Timer 定时器实战精讲
本文深入解析 Flink 时间机制与 Timer 定时器的核心原理与应用。首先介绍 Flink 的两种时间类型（事件时间和处理时间），重点讲解事件时间的水印机制及其配置方法。随后详细拆解 Timer 的工作原理，包括注册、触发和执行流程，并通过订单超时监控的完整代码示例，展示如何结合 KeyedProcessFunction 和状态管理实现延迟触发业务逻辑。文章适用于 Flink 开发者，帮助掌握时间模型与定时器使用，规避生产环境中的常见问题。
2026-04-08 11:01:00
853
原创 Flink 系列第 3 篇：核心概念精讲｜分布式缓存 + 重启策略 + 并行度 底层原理 + 代码实战 + 生产规范
本文介绍了Flink三个核心功能：分布式缓存、故障恢复与重启策略、并行度配置。分布式缓存通过预加载小文件实现本地关联，优化大表Join性能；故障恢复支持局部重启降低影响，提供无重启、固定延迟和失败率三种策略；并行度配置分为四个优先级层级，需与Slot资源匹配。生产环境需注意缓存文件只读性、合理选择重启策略以及并行度与资源的平衡，以提升作业性能和稳定性。
2026-04-07 10:36:58
806
原创 16. Doris 系列第16篇：深挖 MOW 致命坑｜Unique Key 写入炸裂、版本爆炸根源、链路剖析+应急根治方案
摘要： 本文深入剖析MOW（Merge-On-Write）在生产环境中的版本爆炸问题，打破“MOW版本天然可控”的误区。核心发现：高频更新场景下，MOW因DeleteBitmap机制和合并效率低下，版本堆积速度远超MOR（Merge-On-Read），更易触发500版本写入拒绝。通过拆解三大病根（写入放大、合并效率腰斩、串行依赖链）及典型场景（热点单行更新、大文件+小更新、并发资源争抢），提出六维解决方案：业务层打散热点+攒批、BE内核调优、前置缓冲架构、分区策略优化等，并给出MOR/MOW选型对照表。最终
2026-04-05 09:43:36
469
原创 15. Doris 系列第15篇：Unique Key 深度精讲｜Merge-on-Write(MOW)原理、读写流程、Compaction适配与生产调优全指南
本文详细解析Apache Doris 2.0+的Merge-on-Write(MOW)特性，重点对比MOW与传统MOR模式的核心差异，阐述其底层Delete Bitmap机制和全链路写入流程。针对实时画像、订单状态等典型场景提供优化方案，包括建表配置、批量写入、Compaction调优等实战技巧，并给出监控告警体系和常见故障解决方案。MOW通过写入时合并大幅提升查询性能，是读多写少、实时更新业务的理想选择。
2026-04-05 09:40:18
510
原创 14. Doris 系列第14篇：Compaction 深度解析｜原理、类型、配置与版本数限制全攻略
摘要： 本文针对Doris运维中的Compaction机制进行深度解析，面向Doris运维工程师、大数据开发等技术人员。从LSM-Tree架构原理切入，阐明Compaction对解决小文件累积、版本数过高等核心问题的重要作用。详细拆解三种Compaction类型（Base/Cumulative/Full）的触发条件、适用场景及资源配置建议，提供BE端全局配置与表级别调优参数。涵盖生产环境常见问题的监控告警方案、版本数管控策略及应急处理措施，帮助解决Compaction积压导致的写入拒绝、查询延迟等问题。基于
2026-04-04 10:27:05
583
原创 13. Doris 系列第13篇：生产监控全指南｜FE/BE/查询/资源五大维度，告警+采集一步落地
本文针对Doris生产环境监控体系进行系统梳理，聚焦FE、BE、查询性能、集群健康、资源消耗五大核心维度，提供可直接套用的告警阈值与指标解读。重点强调"底线思维"，通过关键指标监控保障集群高可用、高性能、高可靠。内容涵盖JVM稳定性、元数据健康、Tablet副本一致性、Compaction状态等核心监控项，并结合Doris Manager工具实操，帮助运维人员快速搭建生产级监控告警体系，实现故障早发现、早排查、早解决。特别提供慢查询治理方案和Compaction调优参数，为Doris集群
2026-04-04 10:20:45
716
原创 12. Doris 系列第12篇：湖仓一体实战｜Multi-Catalog打通Hive/Hudi，无需搬迁数据直接查
摘要：本文深入解析Doris Multi-Catalog架构在湖仓一体场景中的应用，重点介绍Hive/Hudi湖表直连、查询优化及生产落地实践。Doris 2.2通过多目录机制实现零数据搬迁、极致查询性能和流批统一，成为湖仓架构的核心查询引擎。文章详细讲解Hive Catalog批处理查询和Hudi Catalog实时数仓落地方案，提供完整SQL示例和性能优化建议，助力企业构建低延迟、高性能的实时数仓，解决数据孤岛和ETL繁琐等痛点。
2026-04-03 08:18:36
402
原创 11. Doris 系列第 11 篇：查询加速核心精讲｜四层技术体系全覆盖，从底层 IO 到建模优化落地
本文深入解析Apache Doris企业级查询加速体系，从存储、计算、优化器和建模四层架构协同优化出发，提供全链路调优方案。核心包括：存储层通过分区/分桶裁剪、多级索引和编码压缩降低IO；计算层利用向量化引擎、MPP并行和多级缓存提升CPU效率；优化器层基于RBO/CBO智能选择执行计划；建模层采用物化视图和宽表预计算加速查询。文章还给出生产规范、索引配置口诀和典型场景优化案例，强调"让数据少移动、计算贴近数据"的核心原则，并附调优CheckList和未来演进方向，为大数据开发及Dori
2026-04-03 08:11:23
455
原创 10. Doris 系列第10篇：数据查询全攻略｜Join/子查询/窗口函数，从基础到高级实战
本文深入解析Apache Doris 2.x的企业级查询能力，重点剖析分布式Join算法选型与优化策略。核心内容包括：四种Join实现方式（Broadcast/Shuffle/Colocation/Bucket Shuffle）的适用场景与性能对比，生产环境最佳实践与调优建议；全面支持的子查询类型及自动优化机制；同时指出当前版本的限制点（如NOT IN子查询）。通过原理讲解与实战案例结合，帮助大数据开发、数仓分析师等技术人员掌握Doris查询优化核心技能，解决实际生产中的性能瓶颈问题。
2026-04-02 19:57:25
564
原创 9. Doris 系列第9篇：物化视图全解析｜同步Rollup+异步MV，查询加速从毫秒级突破
本文深入解析Doris物化视图（MV）的原理与应用，帮助实现查询从秒级到毫秒级的优化。Doris提供同步MV（Rollup）和异步MV两种方案：同步MV适合单表高频固定维度查询，具有强一致性和极致性能；异步MV支持多表Join和复杂逻辑，灵活性更高但数据最终一致。文章详细介绍了两种MV的实现原理、建表语法、适用场景及性能特征，并给出生产环境中的实战案例。通过合理使用物化视图，可以在保留明细数据灵活性的同时，显著提升查询性能，是Doris查询加速的核心利器。
2026-04-02 19:51:01
499
原创 8. Doris 系列第8篇：查询引擎深度解析｜MPP+Pipeline+向量化，从SQL解析到执行全流程
摘要：Doris查询引擎核心架构与优化实践 本文深入解析Doris 2.x查询引擎的核心架构与优化技术。作为OLAP数据库的关键枢纽，Doris查询引擎采用FE/BE分离架构：FE负责SQL解析、语义分析、查询改写和优化器处理，BE专注物理计划执行。文章详细拆解了从SQL解析到分布式执行的全流程，重点剖析了分区/桶裁剪、谓词下推等优化技术，以及RBO/CBO混合优化器的协同工作机制。针对MPP架构，介绍了计划分片和并行调度机制，并提供了生产环境调优实践建议。通过理解这些底层原理，开发者可有效解决查询性能瓶颈
2026-04-01 10:42:15
496
原创 7. Doris 系列第7篇：数据导入全解｜四大导入方式+2PC事务+Exactly-Once生产实战
本文深度解析Apache Doris四大核心数据导入方式（Stream/Broker/Routine/Insert），详解其适用场景、实现原理及事务保障机制。Doris通过2PC+MVCC+Label/Offset实现原子性、一致性和Exactly-Once语义，有效解决重复入库、数据不一致等问题。Stream Load适合低延迟推送，Broker Load处理离线批量数据，Routine Load保障Kafka实时消费的精确一次语义，Insert Into则满足轻量ETL需求。文章提供生产级配置建议和故障
2026-04-01 10:37:14
507
原创 6. Doris 编码与压缩全解：存储优化+查询提速双提升（实战配置+调优）
本文深入解析Apache Doris的两层存储优化技术——编码与压缩，针对大数据开发、Doris运维等技术人员提供生产级优化方案。文章详细剖析了PLAIN、DICT_ENCODING、BIT_SHUFFLE等核心编码原理及LZ4/ZSTD压缩算法对比，给出建表配置语法和性能调优建议。通过合理应用编码压缩技术，可显著降低存储空间30%以上，提升查询吞吐15%，是实时数仓和OLAP系统必掌握的优化手段。文末提供最佳实践清单和避坑指南，助力开发者快速落地Doris存储优化。
2026-03-31 13:04:18
702
原创 5. Doris索引全解｜前缀/ZoneMap/Bloom/Bitmap/倒排索引选型+实战调优
本文详细解析Apache Doris六大核心索引的设计原理与应用实践。前缀索引基于排序键自动构建，可高效过滤数据块；ZoneMap索引通过最值实现轻量级范围过滤；布隆索引适合高基数列等值查询；位图索引专为低基数列多维筛选优化；倒排索引则支持2.0+版本的文本检索。文章强调索引选型应遵循"存储计算协同"原则，提供各索引的创建语法、适用场景及生产级调优建议，包括优先优化Sort Key、避免冗余索引等实用技巧，帮助开发者根据查询特征精准配置索引，平衡查询性能与存储开销。
2026-03-31 12:58:58
702
原创 4. Doris 系列第4篇：存储引擎深度解析（LSM-Tree+列式存储+行存优化）
本文深入解析Apache Doris存储引擎的设计与实现，重点介绍其融合LSM-Tree、列式存储和MVCC的混合架构。文章从存储引擎定位出发，详细拆解了四级数据组织模型（Table-Partition-Tablet-Replica）、基于LSM-Tree优化的写入流程、多级缓存的读取机制，以及行列混存等核心特性。同时阐述了Compaction策略、SegmentV2列存格式、事务一致性模型和容错机制等关键技术，最后提出未来演进方向。该存储引擎通过分层设计实现了高吞吐写入、低延迟查询和强一致性的平衡，为OL
2026-03-30 07:54:49
750
原创 3. Doris 系列第3篇：数据模型全解析（Duplicate/Aggregate/Unique三大模型+数据类型）
Apache Doris提供三大数据模型满足不同业务需求：DuplicateKey模型适合存储原始明细数据（如日志），不聚合且写入性能高；AggregateKey模型自动按Key聚合数据，适合预聚合报表场景；UniqueKey模型支持主键唯一约束和更新操作，推荐使用Merge-on-Write模式提升查询性能。选型建议：不确定时先用DuplicateKey，报表需求用AggregateKey，主数据管理用UniqueKey。Doris还支持丰富的数据类型，包括数值、日期、字符串、半结构化和IP类型，可灵活适
2026-03-30 07:51:58
783
原创 2. Doris 系列第2篇：基础架构与核心概念（FE/BE+分区分桶全解析）
本文深入解析Apache Doris基础架构，重点剖析其MPP架构设计。Doris由FE（元数据管理与查询协调）和BE（存储与计算执行）两类进程组成，通过心跳机制、任务下发和副本管理实现高效协同。文章详细阐述了FE的BDBJE高可用机制和BE的列式存储结构，并重点讲解了两级数据分布模型：分区（逻辑分片）用于数据生命周期管理，分桶（物理分片）实现并行计算与数据均衡。通过合理设计分区策略和分桶键选择，可显著提升查询性能。掌握这些核心原理是进行Doris性能调优和故障排查的基础。
2026-03-29 21:59:56
395
原创 1. Doris 全景解析：架构、特性+选型指南（系列开篇·奠定基础）
Apache Doris 是一款基于 MPP 架构的高性能、实时分析型数据库（读多写少）。以高效、简单和统一的特性著称Doris 既能支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。在写入实时性、查询复杂度、并发能力、运维成本之间取得最佳折衷特别适合需要“实时 + 复杂分析 + 高并发”的中大型企业场景。在技术栈中，它往往扮演 “实时数仓统一出口” 或 “高性能 BI 引擎” 的角色，成为连接数据生产与消费的关键枢纽。
2026-03-29 21:57:18
519
原创 MapReduce 分析
若数据倾斜（某些 key 数据量极大），会导致个别 Reducer 负载过高（“拖后腿”）。表现：99% 的 Reducer 已完成，1 个 Reducer 还在跑（甚至 OOM）。数据需通过网络从所有 Mapper 传输到 Reducer（I/O + 网络开销大）。Reducer 需要同时处理来自数百/数千个 Mapper 的数据块，内存压力大。若无法全部加载到内存，会 spill 到磁盘再 merge，造成额外 I/O。内存缓冲区不足导致频繁 spill 到磁盘（大量磁盘 I/O）。
2026-03-27 16:58:20
313
原创 Flink 系列第2篇：DataStream API 实战精讲｜Source/Transformation/Sink 全算子详解
本文全面介绍Flink DataStream API的核心用法，适用于实时计算开发人员。主要内容包括：1) Flink 1.12+统一使用DataStream API处理批流一体场景；2) 核心编程流程：环境获取→数据输入→转换处理→结果输出→执行触发；3) 详细讲解Source算子（文件/集合/Socket/Kafka/自定义）、Transformation算子（map/flatMap/keyBy/reduce/window等）和Sink算子的使用方法；4) 重点分析生产环境常见问题如数据倾斜处理、Kaf
2026-03-26 19:05:16
353
原创 Flink 系列第1篇：零基础入门｜核心基础、架构原理、分层API、组件详解（夯实入门必备）
Flink是一款高性能分布式流处理框架，具有批流一体、精确一次语义、高效状态管理等核心特性。其架构采用Master-Slave模式，包含JobManager、TaskManager等核心组件，支持多种部署方式。Flink提供分层API（SQL/Table、DataStream/DataSet、StatefulStreamProcessing）满足不同开发需求，并通过算子链优化、并行度调节等技术提升处理效率。特别适合事件驱动型应用场景，支持多种时间语义和窗口模型，具备完善的容错机制（Checkpoint）和E
2026-03-26 19:03:57
365
原创 MacOS 终端显示 bogon 问题及解决方案
最近使用 Mac 时，发现终端中命令提示符前面的主机名错误地显示成bogon。搜索了一下，不止我一个人遇到了这个问题。
2026-01-26 12:02:29
192
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人