- 博客(5)
- 收藏
- 关注
原创 LEFT JOIN+ISNULL求差集三连击
LEFTJOIN+ISNULL是求差集的核心技巧:以左表为“目标池”,右表为“排除池”,通过全字段关联后筛选右表为空的记录,精准找出“未发生”的行为。适用于加购未买、单向关注、好友推荐等场景,关键在主键匹配与WHERE ISNULL过滤。口诀:左连右,找为空。避免数据膨胀与NOTIN陷阱,高频用于漏斗分析与用户召回。
2026-11-02 19:46:17
250
原创 HiveSQL速查:初学者必备函数大全
本文为HiveSQL初学者整理的常用函数速查指南,涵盖时间处理、条件聚合、空值处理、集合操作、CASEWHEN分类、多表关联与去重、分组过滤及业务指标应用。通过知识点表格与简化示例结合,帮助理解函数在真实场景中的组合使用,重点掌握date_add、sum(if())、nvl、collect_set、case when等核心语法,提升数据分析实战能力。
2026-11-02 00:42:05
275
原创 Doris配置全解析:从FE到Broker一站式指南
Doris配置分五层:系统、节点、启动、集群元数据、客户端。FE为“大脑”,关键配置包括meta_dir(独立SSD)、priority_networks(绑定正确IP)、JAVA_OPTS(建议16GB+堆内存)。BE为“仓库”,核心是storage_root_path(多路径并行IO,避免末尾分号)。Broker是外部存储桥梁,支持HDFS/S3等,通过WITH BROKER实现异步导入/导出,需配置broker_ipc_port并注册至FE。扩缩容
2026-10-13 14:31:52
143
原创 进阶调度四大神器:参数、资源、告警、重跑
DolphinScheduler进阶功能解决生产调度四大核心问题:通过参数动态化实现工作流灵活配置,支持跨节点传参与优先级管理;资源中心统一管理依赖文件,提升复用性与版本控制能力;告警通知实现异常实时感知,保障无人值守场景下的及时响应;失败重跑机制支持断点续跑,提升容错与执行效率。结合实战案例,全面支撑数据流水线的自动化、可维护与高可用运行。
2026-10-10 10:41:11
129
原创 Apache DolphinScheduler 集群部署与核心配置全解析
本文基于DolphinScheduler 2.0.5/3.x,系统讲解其分布式架构、集群部署流程及核心配置。重点解析install_env.sh配置项,深度拆解SPRING_DATASOURCE_URL参数,详述安全中心四大模块(用户、租户、告警组、Worker分组)的配置与最佳实践,并提供API令牌集成与Python调用示例。涵盖从环境准备、数据库初始化、一键部署到常见问题排查(如MySQL连接失败、ZooKeeper超时、Worker权限不足等),适用于大数据调度平台运维与开发人员参考。
2026-10-08 22:38:08
646
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅