- 博客(178)
- 收藏
- 关注
RSS订阅原创 19. 大数据- BI - AI 应用5- RAG +数据向量化
系列文章完整串联业务系统 + 数据集成 + 数据仓库 + BI 落地全链路。本章进入RAG（检索增强生成）技术的实战讲解环节。跳过复杂的底层原理，重点拆解如何把企业海量业务数据转化为 AI 能读懂的向量数据、如何搭建专属的知识库，以及如何优化检索逻辑让 AI 回答更精准。将手把手搭建一个企业级的智能问答助手，打通从数据治理到 AI 智能应用落地的 “最后一公里”。前言：从 “大海捞针” 到 “有问必答”，AI 让企业知识真正活起来在数字化时代，每家企业都存了海量的文档、报表和过往经验，但。
2026-09-09 15:21:49
74
原创 26. AI-Agent-Skills
在AI 智能体AI Agent） 里，Skills（技能）智能体可以调用的、完成具体任务的 “能力模块” 或 “工具函数”。
2026-09-08 17:32:39
155
原创 26. AI-Agent-交付
智能体到底怎么交付？以前交付一个网站，现在交付一个 Agent，到底交付给客户什么？以前我们做软件项目，交付物非常明确。客户说要做一个管理系统。我们会说：前端、后端、数据库、服务器，部署完成，给你一个访问地址。客户说要做个小程序。我们会说：开发完成，提交审核，用户打开微信就能使用。Web 系统、App、小程序、后端服务、数据库、管理后台。软件工程经过这么多年发展，大家对“交付”这件事已经形成了非常明确的认知。但现在问题来了。客户说：“我想做一个智能体。那我最后到底给你什么？给一个网址？
2026-08-14 15:24:41
215
原创 25. 移动端-微信小程序
微信小程序的开发语言和上线流程微信小程序的开发语言是一套受限 JS + 自研视图层 + JSON 配置的封闭技术栈，上线则是代码包上传到微信后台 → 审核 → 发布，而不是传统意义上部署到自己的服务器（后端另算）。
2026-08-12 13:03:23
276
原创 10. 软件设计&架构-Spring Security 7 整合CAS SSO 单点登录
很多系统接入SSOSSO 登录成功-> 获取用户信息-> 业务系统再生成一个 JWT-> 前端保存到 localStorage-> 每次请求携带 X-Access-Token这套方案能用，但它很容易制造出两套认证体系：集团 SSO 有自己的登录状态，业务系统又维护一套 JWT。账号禁用、Token 过期、主动退出和权限变化，都要在两套体系之间保持一致。只要其中一个环节没有处理好，就会出现这些问题：集团 SSO 已经退出，门户 JWT 仍然有效；平台账号已经禁用，旧 JWT 还能继续访问；
2026-08-11 15:01:05
362
原创 10. 软件设计&架构-百万级车辆实时轨迹追踪架构实战：Spring Boot + Kafka + Redis + MongoDB 如何支撑高并发定位链路
车联网定位系统最难的部分，从来不是“把经纬度写进去”，而是当几十万台设备持续上报位置、调度系统实时读最新点位、风控系统判断异常轨迹、地图侧回放历史路径时，整条链路还能同时做到低延迟、可扩展、可回放、可治理。很多文章会把这个话题写成一条简单流水线：设备上报，Spring Boot 接入，Kafka 削峰，Redis 缓存最新位置，MongoDB 存轨迹。这个结构没有错，但它只回答了“用了哪些组件”，没有回答生产环境真正关心的几个问题：同一辆车的轨迹如何保证顺序不乱。
2026-07-30 17:28:55
346
原创 19. 大数据-概念
指数据来源广泛、类型多样，包括结构化（如数据库）、半结构化（如JSON、XML）和非结构化数据（如文本、图像、视频等）。图中多向箭头图标体现异构数据源的汇聚。指数据规模巨大，通常以**TB（太字节）、PB（拍字节）甚至EB（艾字节）**为单位衡量。图中用堆叠的服务器图标表示海量数据存储。图中火箭图标象征数据以快速、连续的方式从源头流入系统。✅ 补充说明：现代大数据常扩展为“5V”模型，还包括。指数据生成、流动和处理的速度极快，呈。，但本图聚焦于最基础的三要素。
2026-07-20 13:44:44
218
原创 19. 大数据-数据治理-体系建设全流程
本流程围绕 “指标驱动、标准先行、模型落地、质量闭环、安全合规、资产沉淀” 六大核心逻辑，形成端到端的数据治理闭环。
2026-06-12 14:22:57
275
原创 19. 大数据-数据治理-数据标准
整体闭环链路图fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;元数据模板（数据资产盘点）基础数据标准模板（基础数据标准化）指标&维度标准模板（业务指标标准化）数据服务模板（数据资产服务封装）逻辑模型设计物理模型设计数据表/字段落地说明：实线为主数据流转流程，虚线为迭代回流闭环；逻辑 / 物理模型深度嵌入整套数据标准体系。
2026-06-12 13:55:44
279
原创 19. 大数据-技术生态
大数据（Big Data）大数据（Big Data）是指无法用传统数据处理工具处理的大规模数据集合，具有数据量大、数据类型多、数据生成速度快、数据价值密度低等特点。大数据的处理技术包括分布式存储和计算、数据清洗和转换、数据分析和可视化等。分布式存储和计算是通过多台计算机协同工作来处理大规模数据，如Hadoop、Spark等；数据清洗和转换是对大数据进行预处理，如数据去重、数据转换等；数据分析和可视化是对大数据进行分析和展示，如机器学习、数据可视化等。
2026-06-11 09:34:16
301
原创 19. 大数据- BI - AI 应用4-构建高质量 AI 基座
系列文章完整串联业务系统 + 数据集成 + 数据仓库 + BI 落地全链路。结合上一篇中AI处理数据的能力进行展开深入的场景案例知识点讲解，结合案例全面系统的对AI处理结果化、半结构化、非结构化数据的实践落地，及关键点拆解解析。结构化与非结构化数据落地处理方案解析全流程质量管控方案本文作为上一篇内容的深度补充，将跳出纯理论的框架，重点聚焦于 AI 数据处理的落地场景。
2026-06-05 09:48:12
246
原创 19. 大数据- BI - AI 应用3-AI 数据处理
系列文章完整串联业务系统 + 数据集成 + 数据仓库 + BI 落地全链路。后面，将逐步讲解AI应用落地核心能力，包括非结构化数据处理、数据向量化、语义增强检索（RAG）、Agent智能体能力等，用实战经验把AI落地讲透。AI 数据处理能力：结构化 / 半结构化 / 非结构化全流程落地前两篇我们系统聊了 AI 在 BI 系统的落地场景、企业价值与部署方案。当场景和架构都想好了，AI 真正能落地、能见效的 “命门” 在哪里？数据处理能力。
2026-06-05 09:44:50
308
原创 19. 大数据- BI - AI 应用2-AI模型部署与企业落地
系列文章完整串联业务系统 + 数据集成 + 数据仓库 + BI 落地全链路。完整梳理了 BI 核心概念、整体架构层级、两种主流交付模式、标准落地六步流程，同时拆解了企业做 BI 必须避开的五大实战红线。从数据流向、数仓分层、语义层作用，到固定开发与自助分析模式对比、AI 增强新趋势，全部结合一线实战经验讲透。将深度拆解 AI 在企业数据场景常见应用、部署方式及落地路径，分享中小团队到大型企业不同落地案例与避坑指南，低成本实现 AI 与数据平台融合。企业AI落地场景及部署方式拆解。
2026-06-05 09:42:58
282
原创 19. 大数据- BI - AI 应用1-融合场景解析
系列文章完整串联业务系统 + 数据集成 + 数据仓库 + BI 落地全链路。AI 应用落地实战系列，详细拆解 AI 与数据仓库、BI 平台的内在关联、融合路径与真实落地场景，剖析 AI 如何赋能传统数仓与 BI 体系，实现企业数据价值再升级。BI 系统建设中嵌入 AI 的使用场景解析，重点拆解了实战场景：结构化与非结构化数据集成、数据语义智能检索、数据智能预测、Agent智能体等。这些能力已经从概念真正走向落地，成为企业数据平台的核心标配能力。
2026-06-05 09:41:34
359
原创 19. 大数据- BI 实战3-架构、交付模式与企业落地
系列文章完整串联业务系统 + 数据集成 + 数据仓库 + BI 落地全链路。BI（商务智能）专题，重点围绕：BI 项目落地方法论BI 需求调研、元数据、数据质量实践BI 整体架构设计等实战内容展开，让数仓能力真正落地到每一位业务使用者。架构、交付模式与企业落地通过理论结合实际，深入浅出的讲解 BI 流程落地案例。完整梳理了 BI 核心概念、整体架构层级、两种主流交付模式（也可以说三种）、标准落地六步流程，以及BI 建设过程中的问题点，拆解了企业做 BI 必须避开的五大实战红线。
2026-06-05 09:38:38
298
原创 19. 大数据- BI 实战2-需求调研、元数据、数据质量实践
系列文章完整串联业务系统 + 数据集成 + 数据仓库 + BI 落地全链路。BI（商务智能）专题，重点围绕：BI 项目落地方法论BI 需求调研、元数据、数据质量实践BI 整体架构设计等实战内容展开，让数仓能力真正落地到每一位业务使用者。需求调研、元数据、数据质量全流程管控：问题、方案与实战案例。
2026-06-05 09:37:16
228
原创 19. 大数据- BI 实战1-项目落地方法论
系列文章完整串联业务系统 + 数据集成 + 数据仓库 + BI 落地全链路。BI（商务智能）专题重点围绕：BI 项目落地方法论BI 需求调研、元数据、数据质量实践BI 整体架构设计等实战内容展开，让数仓能力真正落地到每一位业务使用者。在数字化转型浪潮中，BI（商业智能）被众多企业视作 “用数据驱动决策” 的关键抓手。但现实却十分残酷：大量 BI 项目陷入上线即烂尾、没人用、没人管的尴尬困境。不少企业盲目跟风投入，最终只换来一堆无人问津的 “大屏摆设”；
2026-06-04 16:56:43
35
原创 19. 大数据- BI 入门-数仓实战终篇-数据仓库演进对比与深度思考
系列文章完整串联业务系统 + 数据集成 + 数据仓库 + BI 落地全链路。深度拆解企业标准四层数仓架构：ODS 原始层→DW 明细层→DIM 维度层→DM 主题层，详解每层设计逻辑、字段规范、脱敏规则、落地开发要点，搭配汽车流通 / 航空制造 ERP/MOM 真实业务案例，讲透如何把杂乱的原始数据，沉淀为企业可复用、可对账、可赋能的标准数据资产。数据仓库建设发展的不同时期对比及思考离线计算时代（传统数仓或）实时计算时代（实时数仓）基于 AI 的湖仓一体时代（未来趋势）
2026-06-04 16:50:33
225
原创 19. 大数据- BI 入门-数仓实战6-数仓全层级数据流通方案
系列文章完整串联业务系统 + 数据集成 + 数据仓库 + BI 落地全链路。深度拆解企业标准四层数仓架构：ODS 原始层→DW 明细层→DIM 维度层→DM 主题层，详解每层设计逻辑、字段规范、脱敏规则、落地开发要点，搭配汽车流通 / 航空制造 ERP/MOM 真实业务案例，讲透如何把杂乱的原始数据，沉淀为企业可复用、可对账、可赋能的标准数据资产。ODS→DWD→DWS→ADS 怎么流才最稳？ADS 层的高效运转离不开稳定的数据同步链路。下面将聚焦「数据仓库层级流转同步的落地实践」
2026-06-04 16:44:02
192
原创 19. 大数据- BI 入门-数仓实战5-ADS 整体设计框架
系列文章完整串联业务系统 + 数据集成 + 数据仓库 + BI 落地全链路。深度拆解企业标准四层数仓架构：ODS 原始层→DW 明细层→DIM 维度层→DM 主题层，详解每层设计逻辑、字段规范、脱敏规则、落地开发要点，搭配汽车流通 / 航空制造 ERP/MOM 真实业务案例，讲透如何把杂乱的原始数据，沉淀为企业可复用、可对账、可赋能的标准数据资产。ADS 层应用数据层开发实战基于 ODS+DIM+DWD+DWS 全链路并结合DM进行对比，讲解指标出口设计、报表对接、大屏数据、接口输出与最后的数据服务封装。
2026-06-04 16:39:17
160
原创 19. 大数据- BI 入门-数仓实战1-数据仓库的核心逻辑与落地范式
系列文章完整串联业务系统 + 数据集成 + 数据仓库 + BI 落地全链路。深度拆解企业标准四层数仓架构：ODS 原始层→DW 明细层→DIM 维度层→DM 主题层，详解每层设计逻辑、字段规范、脱敏规则、落地开发要点，搭配汽车流通 / 航空制造 ERP/MOM 真实业务案例，讲透如何把杂乱的原始数据，沉淀为企业可复用、可对账、可赋能的标准数据资产。DWD + DWS 就是 数据清洗整合 + 口径统一 + 业务逻辑梳理重构数据仓库的核心逻辑与落地范式在 BI 系统建设中，数据仓库常被视为“核心骨架”
2026-06-04 16:35:11
568
原创 19. 大数据- BI 入门-数仓实战2-ODS 原始数据层
系列文章完整串联业务系统 + 数据集成 + 数据仓库 + BI 落地全链路。深度拆解企业标准四层数仓架构：ODS 原始层→DW 明细层→DIM 维度层→DM 主题层，详解每层设计逻辑、字段规范、脱敏规则、落地开发要点，搭配汽车流通 / 航空制造 ERP/MOM 真实业务案例，讲透如何把杂乱的原始数据，沉淀为企业可复用、可对账、可赋能的标准数据资产。ODS 原始数据层ODS 是数仓地基，直接决定追溯能力与存储成本。ODS 是 “原材料仓库”在数仓建设中，流传着一个“恐怖的二八定律”
2026-06-04 16:32:35
334
原创 19. 大数据- BI 入门-数仓实战3-DW 数据明细层（从 DWD 到 DWS 讲解）
系列文章完整串联业务系统 + 数据集成 + 数据仓库 + BI 落地全链路。深度拆解企业标准四层数仓架构：ODS 原始层→DW 明细层→DIM 维度层→DM 主题层，详解每层设计逻辑、字段规范、脱敏规则、落地开发要点，搭配汽车流通 / 航空制造 ERP/MOM 真实业务案例，讲透如何把杂乱的原始数据，沉淀为企业可复用、可对账、可赋能的标准数据资产。DWD 数据整合层如果说 ODS 是 “原材料仓库”，那 DWD 就是 “清洗加工车间”。
2026-06-04 16:27:01
229
原创 19. 大数据- BI 入门-数仓实战4-DIM 维度层
系列文章完整串联业务系统 + 数据集成 + 数据仓库 + BI 落地全链路。深度拆解企业标准四层数仓架构：ODS 原始层→DW 明细层→DIM 维度层→DM 主题层，详解每层设计逻辑、字段规范、脱敏规则、落地开发要点，搭配汽车流通 / 航空制造 ERP/MOM 真实业务案例，讲透如何把杂乱的原始数据，沉淀为企业可复用、可对账、可赋能的标准数据资产。DIM 维度层：统一口径唯一身份证，独立分层落地策略要实现数据的高效复用和灵活分析，还需要一个关键环节 —— 维度层（ DIM 层）。
2026-06-04 16:06:19
308
原创 19. 大数据- BI 入门-数据集成全维度详解
系列文章完整串联业务系统 + 数据集成 + 数据仓库 + BI 落地全链路。数据集成在企业数字化转型深水区，数据已成为核心资产。但分散在 ERP、OA、MOM等系统的「数据孤岛」，让跨系统分析、财务对账变得寸步难行。数据集成绝非简单的 “搬运数据”，而是为企业搭建唯一可信数据底座的核心工程。本文结合我 10 年汽车流通 + 航空制造 BI 实战经验，从基础认知到落地选型，系统拆解数据集成全维度实操逻辑，提炼可直接复用的落地策略，助力制造业、流通业避开那些 “昂贵” 的误区。企业核心业务数据散落于。
2026-06-04 16:00:51
396
原创 19. 大数据- BI 入门-业务系统
BI 入门第一步：搞懂企业核心业务系统，从 ERP/OA/MOM 到业务数据逻辑。很多刚入门的朋友，甚至一些做了几年的同行，都会陷入一个误区：一头扎进技术里死磕 SQL、ETL、可视化工具，却忽略了业务系统是所有数据的源头。不懂业务系统的逻辑，就摸不清数据的来龙去脉，做出来的报表要么口径出错，要么脱离业务实际，更别说后续的数据分析和数据治理了。其实 BI 的核心是“用数据服务业务”，而业务系统就是数据的 “根”。
2026-06-04 11:31:40
234
原创 26. AI-大语言模型-Token
TokenToken是模型处理信息的基本单位，相当于"信息颗粒"。它不固定等于字或词，而是根据不同场景有所变化：自然语言中可以是字、词片段或标点；基因组学中表现为碱基或k-mer；蛋白质组学中是氨基酸或功能区域；图像处理中是图像小块；语音处理中则是时间帧或音素。简单说，Token就是现实信息进入模型前被切分的小块。。
2026-04-24 17:25:18
559
原创 26. AI-大语言模型-提示词工程
提示词工程（Prompt Engineering）写好提示词就像是给 AI 下达一份“精确指令”，目的是为了让 AI 输出符合预期的结果，避免“翻车”。正文总结了提示词工程的六大核心要素和四个实战技巧。提示词工程的本质就是降低沟通的模糊性。就像图片里说的，如果你只跟 Tony 老师说“随便修修”，结果往往是“大型翻车现场”；但如果你明确了“先理好后面，再考虑刘海多长，发尾剪 3 厘米”，结果就会精准很多。你不说废话，它一步到位。
2026-04-24 15:05:04
304
原创 10. 软件设计&架构-经典架构问题-幂等+限流
幂等性在高并发场景的架构里，防止重复提交的幂等性是必须要保证的。比如说支付功能，用户发起支付，如果后台没有做幂等校验，刚好用户手抖多点了几下，于是后台就可能多次受到同一个订单请求，不做幂等很容易就让用户重复支付了，这样用户体验是无法忍受的。一个接口执行多次，结果和执行一次完全一致场景：重复提交、网络重试、超时重发、MQ重复消费@Component@Autowired@Override// 非注解方法直接放行if (!if (!// 获取请求头Token。
2026-04-24 14:46:00
519
原创 5. 缓存-Redis-分布式部署
Redis，作为一种开源的、基于内存的数据结构存储系统，被广泛应用于各种场景，包括缓存、消息队列、短期存储等。单一实例的工作模式通常无法保证Redis的可用性和拓展性，Redis提供了三种分布式方案
2026-04-21 14:10:05
418
原创 3. 代码管理-代码托管-SSH密钥
SSH密钥SSH 密钥的原理、本地生成方法、如何将本地 Git 项目与云端仓库建立安全连接。公钥是代码托管服务(Repo)识别您的用户身份的一种认证方式，通过公钥，可以将本地git项目与代码托管服务(Repo)建立联系，然后就可以方便的将本地代码上传到代码托管服务(Repo) 或者将代码托管服务(Repo) 代码下载到本地了。
2026-04-20 10:51:46
397
原创 12. 消息队列-RabbitMQ-高可用核心机制
限流、TTL、死信队列构建高可用、高可靠 RabbitMQ 系统的“三驾马车”。它们分别解决了消费过载消息过期和异常处理的问题。。
2026-04-01 18:13:04
462
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人