自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

石榴姐yyds

数据开发与数据挖掘

  • 博客(1026)
  • 资源 (43)
  • 收藏
  • 关注

原创 数仓治理:如何避免重复建表?

本文系统分析了数据仓库中重复建表的四大根源:表不可见、不可信、口径不统一及公共层薄弱,并提出“事前预防、事中控制、事后治理”三位一体的解决方案。核心举措包括建立统一元数据与数据资产目录、规范数仓分层与命名、强制建表前检索与审批、推行模型评审与Owner制度、建设可复用公共层、自动检测相似表及治理存量重复表。通过流程管控与平台化能力,实现从“被动重复”到“主动复用”的转变,最终提升数据资产可信度与开发效率。

2026-10-09 12:00:00 18

原创 面试问:数据出现异常波动,如何让 Agent 自动定位根因?| 美团

本文提出将“根因定位”流程化,构建Agent自动分析框架:通过五层架构实现异常真实性验证、指标结构化、维度下钻、公式拆解、时间与事件关联。核心在于以工具执行计算(如贡献度、漏斗分析),LLM负责编排与解释,确保根因有证据链。结合多维分析与外部事件对齐,输出可验证报告,提升定位效率与准确性,实现从“猜测”到“可执行流程”的转变。

2026-10-08 12:00:00 30

原创 读者问:为什么指标不直接基于标签结果计算?

在指标体系构建中,标签是结果,指标是口径。直接使用标签易引入隐藏口径、延迟或错误,且难以支持历史回溯与规则变更分析。指标应基于标签规则和原始事实数据重新计算,确保准确性与可解释性。仅当标签口径一致、数据稳定且无需复杂分析时,方可直接使用标签;否则需按规则重算,保障指标的严谨性与一致性。

2026-09-24 12:00:00 19

原创 一文讲清:Agent 里 Skill 调用的完整流程

智能体开发核心在于Skill的六步流程:请求接入、意图识别与路由、参数提取与校验、技能执行、结果格式化、响应输出与状态更新。每步关键且易出错,如上下文缺失、意图模糊、参数校验不足、状态遗忘等。实际系统需强化兜底机制、上下文继承与权限确认,以应对异常场景。真正差异在异常处理能力,而非正常路径流畅度。

2026-09-20 14:46:24 168

原创 面试真题解析:用 SQL 实现按周 Cohort 留存矩阵

你花了一大笔钱做推广,每天拉来一堆新用户。老板问你一个问题:"这些用户,拉来之后到底留没留住?...一堆散乱的登录记录。你没法直接回答"留没留住",因为:用户1来了三次,算留住了吗?用户2来了两次就不来了,算流失了吗?不同时间来的用户,能放在一起比吗?留存矩阵,就是把这些散乱数据"折叠"成一张能一眼看懂的表。这道题表面上考 SQL,实际上考的是对留存分析这件事的理解。

2026-08-25 09:00:00 79

原创 数据异常检测方法全解析:从统计规则到深度学习的实战指南

本文系统梳理了数据异常检测的主流方法及应用场景。异常检测作为数据治理的核心能力,涵盖规则/阈值、统计方法(Z-Score、IQR)、聚类(LOF)、孤立森林、深度学习(AutoEncoder、GAN)和图分析等技术,适用于不同业务需求。文章通过钢铁、金融、制造等行业案例,对比了各方法的优缺点,强调选型需考虑数据规模、特征和业务场景,建议采用多算法融合策略,并指出数据预处理、模型迭代和结果解释是落地的三大关键。最终强调,方法选择应注重实用性和业务匹配,而非单纯追求技术先进性。

2026-08-19 12:00:00 658

原创 Flink 窗口面试题汇总

本文系统梳理了Flink窗口的核心知识点,涵盖基础概念、时间语义、核心组件、数据处理、状态管理等关键内容。主要内容包括:1. 窗口基础概念:介绍Flink窗口的作用、类型(滚动/滑动/会话/全局窗口)及其区别;2. 时间语义与Watermark:详解EventTime与ProcessingTime的区别,Watermark机制及其触发原理;3. 窗口核心组件:解析WindowAssigner、Trigger、Evictor等核心组件的功能与作用;4. 数据处理:阐述迟到数据的处理策略(Watermark/a

2026-08-19 09:00:00 69

原创 干了十年程序员,我不再跟AI比谁懂的多

文章摘要:一位资深程序员面对AI工具带来的冲击,从最初对知识护城河坍塌的焦虑,到重新发现经验价值的历程。他意识到AI虽能快速填补知识差距,却无法替代由实战积累的系统"体感"、问题拆解思维和架构直觉。真正的竞争力在于面对复杂问题时如何思考、判断和取舍的能力,这些源于无数次故障排查和决策沉淀的隐性经验,构成了无法被工具替代的职业护城河。(149字)

2026-08-14 09:00:00 394

原创 写了十年SQL,聊聊“集合思维“这件事

那天那个code review,我最后跟那小伙子说的是:你回去想想,这个需求里"每个用户最近一笔订单"这句话,能不能用SQL直接表达出来,而不是在Java里用if判断"我是不是第一次见到这个用户"。他后来改了一版,用了ROW_NUMBER,十几行Java变成了一条SQL。跑了一下,快了大概六倍。他跟我说:"确实不用想那么复杂。我说对。大多数时候不用想那么复杂。你把"你要什么"说清楚,数据库会帮你把"怎么做"搞定。这就是集合思维最实际的好处:不是它多优雅多哲学,是它让你少写代码、少维护代码、少出bug。

2026-08-13 09:00:00 393

原创 面试问:数仓分层后有哪些负面影响?为什么不建议盲目分层?

摘要: 数据仓库分层设计(如ODS→DWD→DWS→ADS)虽能提升逻辑清晰度与复用性,但实际落地中可能引发多重问题:链路变长导致时效性下降,存储与计算成本激增,任务依赖复杂化,维护成本攀升,甚至因过度分层拖慢需求响应。分层后,口径统一需依赖规范管理而非自动实现,且存在数据一致性风险、补数成本高、元数据管理压力大等问题。小团队或业务初期可能因分层过细而得不偿失。 优化建议包括:根据业务规模动态调整分层深度(如轻量ODS-DW-ADS);明确每层职责,避免无效中间表;建立指标字典与血缘管理;定期治理低价值表;

2026-08-11 11:15:00 33

原创 DWS 宽表和 ADS 宽表,不是一回事

数据仓库中DWS宽表和ADS宽表的本质区别在于职责定位不同。DWS宽表作为公共中间层,应保持克制,聚焦稳定粒度、原子指标和公共维度,确保复用性和口径统一;而ADS宽表作为应用交付层,可充分冗余维度和派生指标,优化查询体验。常见误区是将DWS过度业务化或让ADS承担公共底座,这会导致模型腐化和维护困难。合理做法是DWS负责公共汇总,ADS专注场景加速,形成"DWD+DIM→DWS→ADS→应用"的分层链路,通过明确分层边界实现数据仓库既稳定又好用的目标。

2026-08-06 12:00:00 403

原创 Doris MAX_BY 函数详解

Apache Doris中的MAX_BY函数是处理"取每组最新/最大值对应字段"场景的高效聚合函数。文章介绍了其基本语法MAX_BY(expr, order_expr),通过订单表示例演示如何获取用户最新订单金额。相比MAX函数只能返回极值,MAX_BY能返回极值对应的其他字段值。但需要注意:当排序字段存在重复值时,多个MAX_BY可能返回不同行数据;如需严格获取完整行记录,建议改用ROW_NUMBER窗口函数。该函数适合汇总场景(如获取最新登录IP、最大金额订单状态等),但不适合保留明

2026-08-03 09:00:00 406

原创 DolphinScheduler MySQL连接偶发错误排查与解决方案

【问题摘要】DolphinScheduler执行SQL任务偶发报错IllegalArgumentException:null,重跑可成功。排查方向如下: 首要原因(80%概率):Hikari连接池中的失效连接未被及时清理,建议: 追加JDBC参数:autoReconnect=true&connectTimeout=30000 设置maxLifetime<MySQL的wait_timeout 开启testWhileIdle校验 次要原因(15%概率):MySQL服务端预编译缓存异常,建议: 关闭服务端

2026-07-13 09:00:32 449

原创 SQL中繁琐的Case When 如何优化?

SQL优化新思路:数学映射法替代CASE WHEN 本文提出用数学映射法优化SQL中CASE WHEN的五大场景: 聚合统计:将布尔条件转为整数乘法(如SUM(salary*(status='ACTIVE'))),消除分支提升向量化计算效率 枚举翻译:用字典表JOIN替代硬编码(如支付类型映射),通过哈希连接实现O(1)查询 范围判断:利用数学函数(GREATEST、CEIL)替代分段条件,如CEIL(age/10.0)划分年龄段 WHERE子句:通过逻辑等价拆分(OR/UNION ALL)避免索引失效,恢

2026-06-09 11:00:00 132

原创 声明式之美:超越 CRUD 的 SQL

《SQL思维跃迁:从过程式到集合与状态思维的范式转换》 本文揭示了高效SQL编程的核心思维转变:摒弃传统过程式循环逻辑,转向关系代数的集合映射和状态流转思维。通过三个经典案例(关系除法、会话切割、漏斗分析)的对比解析,文章展示了集合运算(差集/基数映射)和窗口函数(LAG/状态累加)如何替代变量维护与循环遍历,以声明式方法实现复杂逻辑。关键顿悟在于:1)用NOT EXISTS和集合运算替代逐行查找;2)用LAG+窗口函数模拟状态机;3)通过MATCH_RECOGNIZE等实现时间序列模式匹配。文末提供的&q

2026-06-05 11:00:00 795

原创 SQL内核修炼:ICU 医疗监护 — 多设备“危险重叠期”识别 | 详解扫描线算法

消除嵌套与循环:它将 O(N^2)的区间两两比对,降维成了 O(Nlog⁡N)的排序 + O(N) 的线性扫描。在 SQL 中,这意味着避免了昂贵的CROSS JOIN或复杂的自关联。状态机思维:它把复杂的几何/时间问题,抽象成了简单的“状态机”。只需要关心“进入”和“离开”对系统当前状态的影响。高度可扩展:无论是求交集(并发数 ≥2 )、求并集(并发数 ≥1 )、还是求差集(A 的并发数 =1且 B 的并发数=0 ),只需要在步骤 4 修改WHERE条件即可,底层的数据流转逻辑完全不变。

2026-06-04 11:00:00 105

原创 数仓面试提问:项目里最难的是什么,如何回答?

这是一道常见的“分水岭”问题。几乎所有的求职者都有几率碰到该问题,也是求职者最头疼、最恶心的一道题目,今天我们就聊一聊,当求职者遇到该问题时应如何应对,本文总结了四类场景供求职者参考。首先,我们来看一下当面试官抛出这个问题时的真实意图是什么?项目的真实性:只有亲手踩过坑的人,才能把细节说清楚。技术深度与广度:你遇到的“难点”是低级错误(如SQL写错),还是具有挑战性的架构/性能/业务问题?解决问题的方法论:面对未知问题,你的排查思路、技术选型和落地能力如何?

2026-06-03 12:00:00 120

原创 阿里大数据开发面试:星型和雪花模型的trade-off是什么?实际中如何选?

星型模型和雪花模型是数据仓库维度建模的两种核心结构。星型模型采用去规范化维度表,查询性能高但存储冗余大;雪花模型通过规范化维度表节省空间但增加查询复杂度。现代数据仓库更倾向星型模型或宽表设计,因其能充分利用廉价存储和高效扫描能力。实际应用中常采用混合架构:底层规范化保证数据质量,上层反规范化优化查询性能。关键权衡点包括查询性能、存储空间、易用性和ETL复杂度等。

2026-06-02 12:15:00 88

原创 利用SQL求解城市天际线问题| LeetCode 218题

无论是用 Python 的最大堆,还是用 SQL 的左连接+分组聚合打破实体的边界:不要盯着“一栋栋楼”看,要把楼拆碎,变成时间/空间轴上的“事件”。维护“活跃状态池”:扫描线本身没有记忆,你必须用一个数据结构(堆、Multiset、或者 SQL 的 JOIN 匹配)来记录“当前扫描线穿透了哪些实体”。只关注“状态突变”:海量的事件点中,90% 都是无效的(被遮挡的、高度没变的)。真正的业务价值(天际线的转折、系统的报警、用户的流失)只发生在状态池的极值(MAX)发生翻转的那一瞬间。往期精彩。

2026-06-01 15:00:00 585

原创 业务问题:用“孤岛与间隙”算法计算设备宕机时长与 MTTR

孤岛与间隙”算法不仅仅是一个 SQL 技巧,更是一种将“离散状态”转化为“连续事件”的数据建模思维。通过LAG()寻找边界,通过划分孤岛,我们成功将碎片化的 IoT 上报数据,转化为了支撑 MTTR 计算、SLA 考核和预测性维护的坚实数据基石。掌握了这个算法,无论是用户的“连续登录天数”、HR 的“请假区间合并”,还是金融的“连续异常交易拦截”,你都能游刃有余地给出优雅的 SQL 解决方案。

2026-06-01 12:00:00 96

原创 某制造业面试题:LOT历史日志设备空值数据补全问题

摘要:本文针对半导体晶圆制造中批次流转日志的设备编号空值问题,提出基于SQL窗口函数的分层数据清洗方案。通过划分制程区间(JobPrep~JobOut)和制程间隙(JobOut~JobPrep)两种场景,分别采用区间内JobIn设备填充和沿用前序制程设备的补全规则。方案利用窗口函数实现制程分组和空值填充,无需存储过程即可完成全量数据修复。该纯SQL方案对半导体及其他离散制造业的生产日志治理具有通用参考价值,能有效解决设备统计失真、制程追溯失效等业务痛点。

2026-05-28 12:00:00 102

原创 面试问:建模中粒度设计不当会造成什么影响?

数据粒度是数据仓库设计的核心要素,直接影响系统性能和业务价值。粒度过细会导致存储成本激增、查询性能下降、ETL流程复杂化;粒度过粗则会丢失细节信息,限制分析深度。此外,不同主题域间的粒度不一致会引发数据口径冲突和集成困难。合理的粒度设计应遵循分层原则(ODS保留原始粒度,DWD采用原子粒度,DWS轻度汇总,ADS高度汇总),以业务需求为导向,平衡性能与分析需求,同时保持粒度一致性并预留扩展空间。错误的粒度决策将造成系统性影响且修复成本高昂。

2026-05-19 11:00:00 103

原创 SQL数据分析实战:电商新品高流量低转化问题

摘要:某电商平台智能收纳盒新品上线15天转化率仅0.9%,远低于行业平均水平。通过SQL数据分析发现:1)流量质量问题突出,65%流量来自低转化(0.5%)的限时秒杀渠道;2)详情页到加购环节流失率高达97.2%;3)新品价格较竞品高12%但缺乏差异化价值;4)用户反馈中性价比和质量顾虑占比达77%。建议立即优化流量结构,重构详情页展示,加强信任背书,并调整价格策略。

2026-05-13 12:00:00 118

原创 SQL数据分析:购物篮分析

摘要:本文提出一种基于购物篮分析的电商商品组合优化方案,通过计算支持度、置信度和提升度三大指标识别商品关联性。方案采用SQL实现,包含表结构设计、核心查询逻辑及性能优化措施,支持过滤无效组合并自动生成关联等级标签。该方案适用于商品捆绑套餐设计、搭配推荐和库存优化等场景,能有效提升客单价和库存周转率。通过配置定时任务,可实现商品关联规则的自动化更新,为电商运营提供数据驱动的决策支持。

2026-05-12 12:00:00 116

原创 SQL数据分析实战:物流轨迹行为区间划分

摘要: 针对物流运输中零散轨迹数据难以直接分析时效指标的问题,提出一种基于HiveSQL的轨迹点连续区间划分方法。该方法以运单ID和运输方式为分组维度,通过LAG窗口函数计算相邻轨迹点时间差,当时间差超过30分钟时标记新区间,并利用SUM窗口函数生成连续区间编号。最终输出每个区间的起止时间、持续时长和轨迹点数量,为干线运输时效监控、异常节点排查和运营数据复盘提供结构化数据支撑。该方案采用经典的"岛屿问题"算法,能有效识别连续在途或停靠行为区间,满足物流时效分析的标准化需求。

2026-05-06 10:00:00 86

原创 数据治理:数据波动如何校验?

分为:固定阈值、环比、同比、分位数、动态基线、业务分段阈值 等6 种方案。小于 5 分位数:突降异常适合:无法固定百分比阈值、数据分布不稳定的场景。上期无数据时,不直接算报错,改为:判断当前量是否突增阈值。:指标常年稳定、值域固定(如:单客单价、商品固定单价)节假日、系统维护日、版本迭代日,临时屏蔽波动规则。:日度常规指标:订单量、用户数、交易额、流水量。:抹平单日偶发波动,基线更平稳,告警更精准。极少用波动,只做:数据量 > 0、延迟监控。:强周期业务(周末、节假日、月度周期)

2026-04-29 10:00:00 103

原创 SQL数据分析实战:物流轨迹行为区间划分

本文提出一种基于HiveSQL的物流轨迹行为区间划分方法,用于解决零散轨迹点无法直接反映运输时效指标的问题。通过将运单轨迹按照运输方式和行为类型分组,以30分钟为阈值划分连续的在途/停靠区间。采用LAG窗口函数获取相邻轨迹时间差,SUM函数累计标记新区间,最终输出每个区间的起止时间、持续时长和轨迹点数量。该方法可有效支撑物流时效监控、异常排查和运营复盘三大业务场景,为运输路线优化、异常处理和绩效评估提供数据支持。核心算法采用经典的"岛屿问题"解决方案,通过窗口函数实现高效的时间序列处理,

2026-04-29 09:00:00 134

原创 新浪科技数据开发面试题

1 先自我介绍一下,面试官还介绍了一下部门的整体情况2 将你做的项目看看整体介绍一下,用了哪些湖仓架构,对于实时指标有哪些3 对于实时来说你感觉难点在哪,如果一个任务挂了你短时间找不到问题如何及时止损,如何解决这个问题4 对于实时指标来说主要是分为哪些,比如实时DAU实时营收,以及实时转化数据,还有实时画像,都是涉及到吗,怎么实现这些指标不丢数据5 对于实时任务出现oom主要是哪一块引起的,怎么避免这个oom,对于oom出现的场景有哪些方面会出现呢。

2026-04-28 14:00:00 304

原创 如何判断一个表需要配置 DQC?

摘要:判断表是否需要配置DQC(数据质量检查)需综合考虑5个维度:1)数据资产等级(核心表必配,重要表建议配);2)业务影响程度(影响核心指标、决策或下游系统的表);3)变更频率(高频变更表必配);4)数据来源可靠性(多源/外部/ETL加工表需特殊校验);5)历史问题频率(曾出问题的表优先配置)。不同级别表需配置不同数量规则,核心表要求3种以上规则且100%监控。

2026-04-28 13:00:00 255

原创 字节大数据开发面经(中国交易与广告)| 校招

本文整理了数据仓库工程师面试中的高频问题,涵盖技术架构、项目实战和解决方案三大维度。技术方面重点考察数仓分层设计(如DWS层界定)、Doris列式存储特点、Spark性能优化(对比MR)以及数据处理技巧(开窗函数、数据倾斜解决);项目层面关注难点突破(如增量同步方案)、建模方法论(主题域划分)和AI应用(如指标自动化开发);解决方案类涉及慢任务调优、跨域整合策略及SQL优化(如分桶技术对比)。面试还包含典型场景题如订单状态推断、数仓治理规范等,全面检验候选人的技术深度和业务理解能力。

2026-04-24 16:00:00 379

原创 为什么本体论在企业落地步履维艰?

企业本体论落地的现实困境与突破路径 摘要:企业本体论建设面临技术门槛高、数据基础薄弱、认知偏差、实施复杂和周期长五大现实障碍。其中业务侧的标准化意愿不足是核心瓶颈,表现为业务人员缺乏抽象思维、部门存在本位主义。破解之道在于:分层推进本体建模,先基础后业务域;轻量化完成业务抽象梳理;选择痛点场景试点突破。最终要实现全域本体建设,必须上升为一把手工程,依靠高层统筹打破部门壁垒,建立长效运营机制。本体论落地本质是业务知识标准化与组织协同问题,技术只是实现手段。

2026-04-24 12:00:00 1283

原创 业务灵魂提问:能不能先做报表,等业务稳定了再建数仓?

摘要:业务初期直接开发报表看似快捷,但长期会导致数据混乱、维护成本激增等问题。建议采用"极简数仓底座+快速报表"的折中方案:1)建立ODS层隔离业务库;2)统一核心指标口径;3)搭建简易DWD/DWS宽表;4)报表全部基于数仓开发。这种模式既能满足短期快速出数需求,又能为后期扩展留足空间,避免返工风险,实现短期高效与长期稳定的平衡。(149字)

2026-04-23 09:00:00 769

原创 Doris 三大模型对比:明细(Duplicate)、主键(Unique)、聚合(Aggregate)

数据库模型选型指南:DuplicateKey、UniqueKey和AggregateKey是三种核心数据模型,分别适用于不同场景。DuplicateKey保留全量原始数据,适合日志存储和明细分析;UniqueKey保证主键唯一性,支持更新操作,适用于订单系统和用户资料;AggregateKey通过预聚合提高查询性能,适合固定报表和实时统计。选型需考虑数据保留需求、更新频率和查询模式,实践中可混合使用这三种模型以获得最佳效果。

2026-04-22 10:00:00 866

原创 报表和数仓结果一样,企业为什么还要砸钱建数仓?

数据仓库与直接业务库报表看似结果一致,实则存在本质差异。本文剖析了数仓的7大核心价值:统一数据口径、隔离分析流量、沉淀通用能力、管控数据质量、整合多系统数据、权限合规管理及数据资产沉淀。通过真实案例指出,直接做报表虽短期省钱,但会带来口径混乱、系统崩溃、重复开发等隐性成本。数仓建设是长期主义选择,通过前期投入搭建标准化数据底座,可避免后期高额重构成本,为企业数字化转型奠定坚实基础。

2026-04-21 13:00:00 626

原创 面试问:请讲一下你在数仓各层是如何设计多时区处理逻辑的?

本文档详细阐述了数据仓库中各层级处理时区问题的规范方案。ODS层保留原始时间数据不做转换,仅存储源端时区标识;DWD层负责将数据统一转换为标准时区(优先UTC),保留原始时间字段;DWS层按常用业务时区预聚合数据;ADS层直接输出目标时区结果。同时设计了公共时区维度表(dim_time_zone)来管理全球时区信息,包含时区编码、偏移量、夏令时规则等关键字段。全流程遵循"原始时区不篡改、计算层统一标准、应用层直接输出"原则,确保时间数据可追溯且避免多层转换误差。

2026-04-21 12:00:00 79

原创 腾讯新闻-数据工程实习-一面

摘要:本文记录了技术面试中的高频问题,涵盖AI技能、大数据框架(Spark/Flink)、Java基础(类加载机制)、Spring框架(AOP/Boot)等技术点,重点讨论了Spark数据倾斜实战案例和连续子数组算法题。同时整理了数仓工程师核心考点,包括分层设计(DWS层界定)、增量同步方案、SQL优化(硬编码处理/差集查询)及建模规范(订单履约/状态推断)。面试中暴露出对框架底层原理的遗忘问题,建议加强Spark Join类型、类加载机制等基础知识的复习。

2026-04-21 09:30:00 137

原创 如何判断一个指标能否放入DWS层?

摘要:DWS层数据准入规范明确要求指标必须符合轻度聚合、跨业务复用、口径统一等标准。准入流程需验证指标类型、聚合粒度、口径一致性、复用性、性价比及宽表融合性。适合DWS层的指标包括通用稳定的跨业务聚合指标(如日销售总额),而明细数据、专属指标、实时计算等则归属其他层级。该规范旨在确保DWS层数据的一致性、查询性能和架构可维护性。

2026-04-20 09:15:00 455

原创 360 数据开发 1面

1 先自我介绍一下2 聊一下你做的项目,里面的技术细节,和技术难点,这一块主要是技术点主要是哪些3 对于你的湖仓技术你准备选啥组件,为啥这样选,选的技术主要是考虑哪方面,对于时效性可以保证吗4 离线的话财务数据和流量数据侧重点哪一块不一致,财务指标如何确保计算可靠,没有问题5 对于任务的时效和dqc的配置都有哪些需要配置的,如何确保都覆盖了6 对于实时任务都有哪些类型,如果进行实时维表的建设主要是考虑哪方面,数据怎么确保不丢。

2026-04-17 16:00:00 142

原创 玩转本体:不同专业视角下的本体?

本文从多学科视角探讨"本体"概念:哲学中研究存在的本质;数学/运筹学聚焦问题域的核心结构;计算机领域体现为面向对象思维;数据工程表现为业务实体与元数据规范;算法工程则关注核心特征与信息压缩。各学科虽定义不同,但都指向对事物本质结构的抽象与提炼,反映了跨领域的思维共性。

2026-04-17 10:00:00 467

原创 大数据数仓工程师面试问题积累 | 附参考答案

核心建设事实表+维度表事实表:交易事实表、行为事实表、财务流水事实表(明细级,存储度量值);维度表:用户维度、商品维度、商户维度、时间维度、地域维度(冗余存储维度属性);汇总模型:DWS层按天/小时/区域/品类轻度汇总,ADS层业务指标宽表(如营收日报、用户行为汇总表)。Flink是流批一体的分布式计算引擎,核心优势:低延迟、高吞吐、精确一次语义、状态管理、窗口灵活;用于实时数据同步、实时计算、实时数仓建设。

2026-04-16 12:00:00 587

智能制造深层剖析.pptx

智能制造深层剖析.pptx

2026-03-17

企业级AI Agent(智能体)价值及应用报告2025.pdf人工智能企业级AI Agent技术架构与多场景应用:金融、制造、医疗行业智能体实践及商业化路径研究

内容概要:本报告系统阐述了企业级AI Agent(智能体)在2025年的发展现状、核心价值、技术架构、行业应用及未来趋势。AI Agent已从概念走向生产级应用,凭借大模型、工具调用、自主规划与多智能体协作等能力,成为推动企业生产力再造的新一代数字员工。报告指出,企业级AI Agent的核心在于“执行力”与“可靠交付”,其价值体现在打通数据孤岛、重塑工作流程、实现从“降本增效”到“模式创新”的跃迁。通过金融、制造、医疗

2026-03-17

西门子数字化工厂介绍(82页PPT).pptx

西门子数字化工厂介绍(82页PPT).pptx

2026-03-17

智慧物流赋能制造业数字化转型.pdf

智慧物流赋能制造业数字化转型.pdf

2026-03-17

AI面试典型客户案例集(2026版).pdf

AI面试典型客户案例集(2026版).pdf

2026-03-17

AI面试官实战指南-精选案例集.pdf

AI面试官实战指南-精选案例集.pdf

2026-03-17

清华大学:Gemini科研手册指南(2026年).pdf人工智能基于图谱与多智能体协同的自适应检索增强生成框架研究:面向企业级复杂问答的系统2推理模型设计

清华大学:Gemini科研手册指南(2026年).pdf内容概要:本文为《清华大学:Gemini科研手册指南(2026年)》,系统介绍了如何利用Gemini工具提升科研效率,涵盖选题生成、文献检索与综述、精读分析、文献对比、综述撰写、科研绘图、PPT制作、讲稿生成、代码复现与调试、智能体搭建等多个环节。手册强调Gemini在科研过程中的组织能力,主张“研究方案先行”,通过Deep Research等智能体实现从问题定义到成果输出的全流程支持。其核心优势在于打通“检索—筛选—引用—分析—可视化—写作”链条,支持结构化、可追溯、可复用的科研工作流,并结合具体实例提供了大量可操作的提示词公式。; 适合人群:科研新手、硕博研究生、青年科研人员及希望提升科研效率的研究者。; 使用场景及目标:①快速生成前瞻性的交叉学科研究选题;②开展系统性文献综述,构建清晰的研究脉络与分析框架;③高效完成科研绘图、汇报PPT与讲稿等成果展示材料;④精准复现论文算法与修复代码错误。; 阅读建议:本手册实践性强,建议读者结合自身研究课题,边阅读边在Gemini中尝试操作,重点掌握各类提示词公式的结构化设计思路,而非死记硬背。

2026-03-17

北京大学-Agentic Coding:从Vibe Coding到超级个体的进化之路.pdf软件工程AI编程范式演进:从Vibe Coding到Agentic Coding的技术变革与超级个体崛起路径

内容概要:本文系统阐述了AI编程从辅助编程(Copilot)向氛围编程(Vibe Coding)及智能代理式编程(Agentic Coding)的演进历程,介绍了Vibe Coding的核心特征、技术支撑及其在SPEC Coding和ID Coding范式中的发展,深入剖析了Cursor、Claude Code、Trae、Qoder、CodeBuddy等主流工具的技术架构与适用场景,并对比了不同工具在上下文窗口、响应速度、生态兼容性等方面的表现。文章进一步探讨了多智能体协作、企业级生态发展、开源Skill市场兴起等未来趋势,同时指出数据隐私、代码可维护性下降、技术依赖导致创新能力萎缩等潜在风险,最终提出开发者应从“如何实现”转向“定义问题”与“价值判断”,进化为具备业务洞察力、系统思维和伦理判断力的“超级个体”。; 适合人群:无编程

2026-03-17

数字化工厂蓝图总体规划及系统集成解决方案.pptx

数字化工厂蓝图总体规划及系统集成解决方案.pptx

2026-03-17

销售提成自动计算表.xlsx

销售提成自动计算表.xlsx

2026-03-17

销售提成自动结算分析表.xlsx

销售提成自动结算分析表.xlsx

2026-03-17

销售提成计算表(分级阶梯计奖).xlsx

销售提成计算表(分级阶梯计奖).xlsx

2026-03-17

销售薪酬及提成表.xlsx

销售薪酬及提成表.xlsx

2026-03-17

全自动甘特图(傻瓜式操作).xlsx

全自动甘特图(傻瓜式操作).xlsx

2026-03-17

函数宝典-完整版.xlsx

函数宝典-完整版.xlsx

2026-03-17

Excel函数大全实例讲解.xls

Excel函数大全【实例讲解】.xls

2026-03-17

Excel函数应用集(50+使用技巧).xlsx

Excel函数应用集(50+使用技巧).xlsx

2026-03-17

股票投资业绩表格.xls

股票投资业绩表格.xls

2026-03-17

股市赢利试算表.xls

股市赢利试算表.xls

2026-03-17

Excel将工作计划表变为进度条的模板.xlsx

Excel将工作计划表变为进度条的模板.xlsx

2026-03-17

人工智能基于Agent的智能系统设计:AI Agent全链知识体系与实战项目开发

内容概要:本文是一份系统性的AI Agent学习教程,涵盖从认知到实战的17个章节,全面讲解了AI Agent的核心知识体系。教程围绕八大核心模块展开:Prompt工程、Workflow工作流、Tool Calling工具调用、Memory记忆系统、RAG与知识库、Planning任务规划、Multi-Agent多智能体以及框架选择。通过理论讲解、案例分析和实战项目(如食品采购系统、内容矩阵、小说工厂),帮助学习者掌握如何设计、构建和部署完整的AI Agent系统。; 适合人群:具备一定AI工具使用经验(如ChatGPT、Claude)的研发人员、产品经理和技术爱好者,希望从AI使用者进阶为AI系统设计者和架构师;特别适合有1-3年工作经验、有志于转型AI Agent开发的从业者。; 使用场景及目标:①理解AI Agent与普通AI的核心区别,掌握其“感知-决策-行动-反思”的闭环工作模式;②系统学习并实践Agent的八大核心能力,特别是Workflow工作流设计这一能力分水岭;③完成从食品采购到多智能体协作的三大实战项目,最终能够独立设计和部署企业级AI Agent应用。; 阅读建议:本教程强调“以项目驱动学习”,建议严格按照“理解本质→掌握Prompt→设计Workflow→实现工具调用→集成记忆与知识→规划任务→多智能体协作”的学习路径进行。务必边学边做,利用配套的12个Skill进行动手实践,并在学习过程中不断对照避坑指南,避免陷入“只学不做”、“过度追求新技术”等常见误区。

2026-08-16

报表与数仓:为何结果一致仍需投入?.pptx

报表和数仓结果一样 为何还要砸钱建数仓?

2026-04-19

本体论:企业智能化转型的核心引擎.pptx

本体论:企业智能化转型的核心引擎.pptx

2026-03-31

大数据体系化建设与实战经验分享.pptx

大数据体系化建设与实战经验分享.pptx

2026-03-29

企业数字化转型之路:本体论(Ontology)深度解析.pptx

企业数字化转型之路:本体论(Ontology)深度解析.pptx

2026-03-28

AI智能体赋能半导体行业汇报.pptx

AI智能体赋能半导体行业汇报.pptx

2026-03-22

SAP Business AI.pdf【企业人工智能】基于SAP Business AI的智能业务流程优化:实现财务、供应链与人力资源管理的自动化决策与价值增长

内容概要:本文介绍了SAP Business AI如何通过嵌入式人工智能技术帮助企业实现业务价值提升。文档阐述了生成式AI在全球经济中每年可带来2.6至4.4万亿美元的增量价值,强调SAP AI以“相关性、可靠性、责任性”为核心原则,全面集成于其产品组合中,涵盖人力资源、采购、财务、供应链、客户关系管理等多个业务领域。SAP提供如Joule AI助手、Document Information Extraction、Just Ask自然语言查询等具体AI应用场景,助力企业自动化流程、增强决策洞察并提升员工生产力。同时,依托SAP Business Technology Platform(BTP)的AI基础服务,支持开发者构建安全、可控、基于企业数据的定制化AI应用。 适合人群:企业数字化转型负责人、CIO、IT架构师、业务流程管理者以及希望在SAP环境中应用AI提升效率的开发人员与数据分析师。 使用场景及目标:① 实现高频率重复任务的自动化处理(如交付单据处理、付款匹配);② 提升信息消费者通过自然语言快速获取业务洞察的能力;③ 利用生成式AI优化内容生成、代码开发与数据治理;④ 构建可信、合规的企业级AI应用生态。 阅读建议:建议结合SAP实际产品(如SAP S/4HANA、SuccessFactors、Analytics Cloud)进行场景对照学习,并重点关注Joule与各模块的集成方式及BTP平台上的AI开发工具链实践。

2026-03-22

智能工厂数字孪生与仿真规划.pptx

智能工厂数字孪生与仿真规划.pptx

2026-03-22

智慧工地解决方案.pptx

智慧工地解决方案.pptx

2026-03-22

研发技术专用OKR绩效考核表.xls

研发技术专用OKR绩效考核表.xls

2026-03-22

2025零代码AI应用指南-51页-250514113558.pdf

2025零代码AI应用指南-51页_250514113558.pdf

2026-03-22

人工智能基于AI中台的智能制造架构设计:数据治理与多模态模型在工业质检与供应链优化中的应用系统

内容概要:本文系统阐述了AI智能中台的架构设计理念与实践路径,重点围绕“用ABC+IOT重新定义制造”的主题,提出构建“智能中台”的整体框架。文档从探讨“中台”概念出发,区分了后台(Systems of Record)、中台(Systems of Differentiation)与前台(Systems of Innovation)的定位与特征,强调中台作为业务差异化能力的核心承载平台。结合制造业场景,提出“智造中台”的业务思路,涵盖研发、供应链、制造、营销等全链条,并通过百度在机器视觉质检、无人机盘点、煤矿安全监管等多个实际案例,展示了AI中台在工业领域的落地应用。整体架构包含数据中台(DaaS)与智能中台(AIaaS),通过模型工厂、数据工厂、通用AI能力(语音、图像、语义等)和业务中台(A-PaaS)的协同,实现数据治理、模型训练、服务化输出的闭环,推动企业从“制”到“智”的转型升级。 适合人群:具备一定IT或工业信息化背景,从事智能制造、数字化转型、AI平台建设等相关工作的技术人员、架构师、项目经理及企业管理者。 使用场景及目标:①指导制造企业构建AI驱动的智能中台,实现数据资产化和服务化;②为AI平台选型与技术架构设计提供参考,特别是在工业质检、安全生产、供应链优化等场景的应用落地;③推动企业组织与IT架构向平台化、服务化演进,提升业务响应速度与创新能力。 阅读建议:建议结合制造业实际业务流程理解中台价值,重点关注数据治理、模型工厂实施路径及百度AI中台架构图,同时参考案例中的技术方案与成效,以理论结合实践的方式深入掌握智能中台的设计精髓。

2026-03-22

REC-owl2-syntax-20121211.pdf

REC-owl2-syntax-20121211.pdf

2026-03-17

最全面的OpenClaw中文教程.pdf

最全面的OpenClaw中文教程.pdf

2026-03-17

清华大学-AI谣言研究报告(OpenClaw版).pdf

清华大学-AI谣言研究报告(OpenClaw版).pdf

2026-03-17

清华大学-OpenClaw发展研究报告2.0.pdf

清华大学-OpenClaw发展研究报告2.0.pdf

2026-03-17

OpenClaw橙皮书:从入门到精通2026.pdf【人工智能】基于开源架构的自主Agent系统:OpenClaw多平台部署与技能生态构建技术解析

OpenClaw橙皮书:从入门到精通2026.pdf内容概要:《OpenClaw橙皮书:从入门到精通2026》是一份

2026-03-17

清华大学-OpenClaw发展研究1.0报告 by 清新研究.pdf人工智能基于OpenClaw的数字员工系统研究:开源代理生态下的生产力范式重塑与一人公司经济模型构建

内容概要:本报告系统研究了OpenClaw这一开源AI代理生态的社会影响、技术架构与未来发展趋势。OpenClaw作为“AI时代的Linux内核”,实现了从“对话助手”到“自主执行”的范式跃迁,具备本地优先、数据主权、自我进化、多模态执行等核心特性,支持通过技能商店扩展功能,并可在多通信平台中实现统一控制与主动任务执行。报告深入剖析其四层架构(大脑、交互、记忆、执行),揭示其如何支撑数字员工的持久化运行,并探讨其在一人公司、

2026-03-17

5-人力资源年龄结构分析(职位维度).xlsx

5-人力资源年龄结构分析(职位维度).xlsx

2026-03-17

【部门版教程】Claude Code简介与安装.docx软件工程基于大模型的编程辅助工具Claude Code安装与应用:实现自然语言驱动的自动化代码开发与项目管理

内容概要:本文介绍了基于大模型的编程模式及其局限性,并引出新一代开发工具Claude Code作为解决方案。传统大模型编程依赖“对话+复制粘贴”的方式,存在上下文割裂、缺乏执行力和无法闭环等痛点。Claude Code则是一个能够深入工程环境的“编程副驾驶”,不仅能理解项目结构,还能自主分析、制定修改计划并动手执行代码更改、运行命令和调试,实现开发任务的自动化闭环。文章详细阐述了其核心能力,包括自主思考、规划执行一体化,并通过测试人员使用自然语言完成全流程开发的案例展示了其强大效能。同时提供了Windows和Mac系统的安装指南,涵盖Git、Node.js/nvm安装、全局CLI工具部署及对接国内智谱AI等配置步骤,最后给出

2026-03-17

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除