- 博客(93)
- 收藏
- 关注
RSS订阅原创 微软Fabric和Purview
微软的数据与AI平台战略中，Fabric和Purview是紧密协作的两大核心产品。Fabric作为统一数据分析平台，提供从数据集成到商业智能的全栈生产能力；Purview则专注于数据治理，提供数据发现、分类、编目等全栈治理能力。两者形成"生产-治理"闭环：Fabric生产的数据资产自动注册到Purview，Purview为Fabric赋予业务语义并执行治理策略。
2026-01-12 19:10:32
68
原创 《PowerBI建模权威指南》第六章使用快照表
本文系统阐述了快照表的高级应用方法，重点包括：1）全量与增量快照的选型标准及增量快照必备字段；2）三种联合建模场景（时间智能函数、多事实表、渐变维度）的实现要点；3）大数据量下的优化策略（增量加载、分区存储、DAX优化）；4）常见误区的解决方案。核心结论强调快照表需与其他维度表协同，通过精准选型、合理建模和全链路优化，实现复杂业务场景的高效历史追溯与分析。文中通过8个典型案例，详细剖析了快照表应用中常见的问题及其解决方法。
2026-01-12 08:44:02
824
原创 Parquet与Iceberg
Parquet和Iceberg是数据湖中互补的技术组合：Parquet作为高效的列式存储格式解决数据存储问题，而Iceberg作为表管理系统处理元数据管理、ACID事务和表版本控制。二者的关系如同"砖块"与"设计图"——Parquet存储实际数据文件，Iceberg则管理这些文件的组织方式、分区信息和历史版本。在实际应用中，Iceberg通过元数据文件精确记录Parquet文件的位置和统计信息，实现高效查询（如文件级剪枝）。
2026-01-11 19:15:22
468
原创 《PowerBI建模权威指南》第五章跟踪历史属性
本文系统讲解了历史属性跟踪的两种核心方法：渐变维度和快照表。渐变维度（特别是2型）适用于缓慢变化属性，通过版本化存储实现历史追溯；快照表则适合快速变化属性，按固定间隔记录全量状态。文章详细对比了两种方法的适用场景、实现逻辑和性能特点，并提供了联合应用方案。同时指出了常见误区，如方法选择错误、关联键使用不当、快照间隔设置不合理等，并给出优化建议。最后强调"精准追溯+性能可控"的核心原则，需根据业务需求选择合适方法，平衡历史追溯与系统效率。
2026-01-11 19:11:28
614
原创 ClickHouse与Iceberg
摘要：ClickHouse与Iceberg协同构建湖仓一体架构，通过三种主要模式实现优势互补：1）Iceberg作为统一数据湖+ClickHouse加速层；2）ClickHouse处理实时数据+Iceberg归档历史数据；3）双向同步互为补充。技术实现包括原生Iceberg表引擎、定期数据导入和External Catalog集成，典型应用场景如实时用户行为分析。最佳实践建议采用数据分层、索引协同和缓存策略优化性能，根据实时性、查询性能和成本需求选择合适方案，最终形成数据加速与全量数据治理相结合的方案。
2026-01-10 11:57:45
785
原创 《PowerBI建模权威指南》第四章处理日期和时间
本文摘要： PowerBI中日期时间建模的核心是构建标准日期表（连续、无缺失、含多级时间属性），作为统一时间维度解决粒度、时区、历史对比等问题。标准日期表可通过PowerQuery（推荐）、DAX或Excel构建，需包含年/季/月/日等必备字段。需清洗事实表中的错误格式、缺失日期、时区混乱等问题。时间智能函数（如DATESINPERIOD、SAMEPERIODLASTYEAR）必须关联标准日期表，实现动态范围、同比环比等计算。
2026-01-10 09:15:20
948
原创 Apache Doris 与 Apache Iceberg
Apache Doris与Apache Iceberg的结合实现了"湖仓一体"架构，通过分层协作提供高效数据管理和高性能查询服务。Doris通过Multi-Catalog功能深度集成Iceberg，支持HMS、AWS Glue等多种模式，实现虚拟化查询与加速并存。该组合具备高性能查询、时间旅行、增量读取等核心能力，支持双向数据流动和灵活架构设计。典型工作流包括数据湖查询加速和流批一体实时分析，通过合理分区、小文件治理和物化视图策略优化性能。
2026-01-09 21:21:19
991
原创 《PowerBI建模权威指南》第三章处理多维事实表
摘要：本文系统阐述了多维事实表建模的核心方法与实践要点。首先明确了多维事实表通过"多维度关联+精准聚合"支撑复杂交叉分析的核心价值，详细拆解了星型/雪花模型的结构规范与表关系设计原则。重点讲解了单事实表星型模型和多事实表共享维度模型两种建模方法，并深入解析了DAX计算中多维度聚合、筛选控制、联动计算等关键技术。针对性能优化提出模型简化、字段精简、DAX优化等策略，同时总结了7个典型建模误区及解决方案。
2026-01-09 21:17:23
1425
原创 Dremio的Apache Arrow 和 Gandiva
Dremio通过Apache Arrow和Gandiva构建高性能查询引擎。Arrow作为统一的内存数据标准，实现跨语言零拷贝数据交换，解决传统系统序列化瓶颈；Gandiva基于LLVM将SQL表达式编译为本地机器码，实现向量化计算。二者协同工作形成"数据移动+计算"的全栈优化：Arrow提供标准化列式内存格式，Gandiva进行高效计算，全程无格式转换。Dremio社区版采用Apache 2.0许可可免费商用，但功能受限（如仅支持2个反射），企业版提供完整功能。
2026-01-08 20:29:40
1042
原创 《PowerBI建模权威指南》第二章处理汇总表明细表
摘要：本文系统阐述了数据建模中汇总表与明细表的核心概念、关联逻辑及建模方法。明细表记录细粒度业务数据，汇总表存储预聚合结果，二者协同实现"宏观高效统计+微观精准钻取"的分析需求。重点解析了三种建模方法：单一明细表（小数据量灵活分析）、明细+汇总联动（大数据量场景）、仅汇总表（粗粒度分析），并强调聚合逻辑一致性、共享维度关联等关键原则。通过典型业务场景和错误案例，详细说明了性能优化策略（数据精简、预聚合、DAX优化等）和常见误区规避方法（主键缺失、维度混乱等）。
2026-01-08 20:09:35
976
原创 《PowerBI建模权威指南》第一章数据模型介绍
本文系统介绍PowerBI数据建模的核心概念、价值与流程。主要内容包括：1）数据建模的定义是将业务逻辑转化为结构化数据模型的过程，其核心价值在于整合零散数据、规范分析逻辑、提升分析效率；2）PowerBI数据模型由表（事实表/维度表）、表关系、字段属性和DAX度量值四大组件构成；3）规范建模流程包含业务需求分析、数据准备、模型设计、数据加载、模型优化和DAX编写六个步骤；4）推荐使用星型模型作为基础结构，避免扁平模型和过早使用复杂模型；5）强调需求导向、数据质量、规范命名等核心原则，并列举常见误区及解决方案
2026-01-07 20:22:04
1125
原创 《PowerBI建模权威指南》全书思维导图
本文系统介绍了数据建模的核心方法与技术应用。全书共13章，首先通过思维导图建立整体框架，随后详细讲解数据建模基础、各类表处理技术（汇总表、明细表、多维事实表）、日期时间处理等核心内容。重点阐述了历史属性跟踪、快照表应用、时间间隔分析等专业方法，并深入探讨多对多关系、不同颗粒度处理、数据切片以及多币种模型等复杂场景的解决方案。各章节循序渐进，全面覆盖数据建模的关键知识点和实践技巧，为构建高效数据模型提供系统指导。
2026-01-07 20:15:29
196
原创 Palantir Vertex：数字孪生模拟与决策系统深度指南
Palantir Vertex是Foundry系统中的核心数字孪生模块，本质上是一个决策模拟器而非简单的数据可视化工具。它基于本体层构建，通过对象关系网络模拟现实世界实体，填补数据模型与业务决策间的鸿沟。核心功能包括：创建隔离的沙盒场景进行假设测试、修改参数模拟不同干预方案、对比虚实数据发现异常，并最终将最优决策回传至业务系统。典型应用场景涵盖供应链韧性评估、资产维护优化和应急方案制定等，帮助用户在复杂环境中做出更优决策。
2025-11-27 18:02:39
433
原创 OpenSpec与Cursor集成指南
OpenSpec是一个规范驱动的开发工具，可与Cursor AI编码助手无缝集成。它通过非侵入式设计（仅添加3个命令文件）实现结构化开发流程，完全不影响Cursor原生功能。OpenSpec的核心价值在于：1）先写规范再编码，减少AI误解需求导致的返工；2）提供可追溯的变更历史；3）支持团队协作。实际使用中可灵活选择：简单任务直接使用Cursor，复杂功能开发则采用OpenSpec的提案-实施-归档流程。该工具特别适合需要长期维护的复杂项目，但随时可禁用回归原生状态。
2025-11-25 12:22:21
1197
原创 AgentEvolver：自进化Agent系统
摘要：AgentEvolver是一个创新的端到端自进化训练框架，通过整合自主提问(Self-Questioning)、自主导航(Self-Navigating)和自主归因(Self-Attributing)三大机制，实现了智能体的持续自我优化。该框架采用模块化设计，支持多种应用场景如应用程序自动化(AppWorld)和函数调用优化(BFCL-v3)，在7B参数模型上取得了显著性能提升。其核心创新包括ADCA-GRPO算法实现细粒度信用分配、动态经验管理策略以及服务化架构设计。
2025-11-23 20:14:27
175
原创 Spring AI Alibaba DataAgent：智能数据查询系统
摘要：SpringAIAlibabaDataAgent是基于SpringAI框架的智能数据查询系统，可将自然语言转换为SQL查询并生成分析报告。系统采用状态图(StateGraph)架构，实现从意图识别到报告生成的完整数据分析流程，支持多数据源查询和流式处理。核心组件包括证据召回、查询增强、SQL生成与执行等节点，通过多轮优化确保查询质量。技术栈涵盖Java17、SpringBoot3.4.8、DashScope大模型和向量检索技术，支持MySQL、PostgreSQL等多种数据库。
2025-11-22 12:03:11
327
原创 Palantir数据存储架构
Palantir Foundry平台通过ObjectStorageV2架构解决企业数据孤岛问题，其核心创新是多数据源Object类型(MDOs)。该架构将物理分散的数据虚拟整合为统一业务对象，支持列级权限控制。MDOs通过横向拼接不同数据源的属性构建完整业务视图，最多支持70个数据源整合。相比传统存储架构，ObjectStorageV2更灵活，但需注意属性不能跨源映射等限制。这一技术实现了数据层与业务层的有效解耦，为企业提供智能化的数据整合方案。
2025-11-21 19:31:14
339
原创 虚拟本体：基于语义层的自然语言SQL生成系统技术深度解析
VirtualOntology是一个创新的语义数据查询系统，通过轻量级本体层实现自然语言到SQL的自动转换。该系统采用三层架构设计：本体层定义业务概念与关系映射，API服务层提供安全可控的查询接口，数据层直接连接现有SQL数据库。应用场景主要面向MES制造执行系统，支持产能分析、质量调查等典型业务查询，首次尝试成功率可达86%。核心技术包括：基于YAML的本体规范定义、FastAPI构建的RESTful接口、SQLModel实现的数据访问层，以及自动化的查询模式学习机制。
2025-11-14 19:44:50
861
原创 AWS Bedrock Agent 结构化数据查询系统
本文介绍了一种基于Amazon Bedrock Agent的智能数据库查询系统，通过LLM驱动的Text-to-SQL技术实现自然语言到结构化数据的查询转换。系统采用Lambda函数作为Action Group、LlamaIndex作为查询引擎、Athena作为数据源，结合Few-Shot Learning和向量检索技术，构建了高效的AI驱动数据分析平台。文章详细解析了系统架构、核心实现和部署实践，包括关键技术组件如Bedrock Agent、Lambda函数、Few-Shot示例设计和提示词工程。
2025-11-09 18:52:50
726
原创 Palantir Foundry本体层次与数据存储
Palantir的Ontology架构采用三层设计：语义层定义业务对象和关系（"名词"），动势层描述业务流程和操作（"动词"），动态层实现智能决策（规则和AI）。这三层形成从数据建模到业务执行的闭环系统。数据存储采用分布式多模型架构，包括对象存储、时序数据库等，通过微服务提供统一访问。系统通过连接器接入多源数据，经五层流水线处理后生成实时更新的数字孪生知识图谱。
2025-11-06 19:17:01
1876
原创 Apache Calcite查询规划
将解析、校验、转换与规则集集中管理，适合内核嵌入与按需裁剪。等价类+Trait 的优化框架：Volcano 的动态规划与 trait 传播/派生提供强大的跨后端可塑性，是将“逻辑计划”转为“物理实现”的关键。RelRule的配置化让规则编写更加声明式，结合RelBuilder便于维护与组合。、基准代码清晰地展示了正确性预期与使用模式，是学习与回归的最佳入口。
2025-11-04 20:18:38
664
原创 Dremio查询加速技术全解析
Dremio查询加速系统通过反射(Reflections)和结果缓存机制显著提升查询性能。反射分为原始反射、聚合反射、外部反射和星花反射四种类型，通过预计算和优化存储数据来加速查询。系统支持自动和手动反射管理，并与多种数据格式兼容。结果缓存可复用相同查询结果，降低计算开销。前端界面提供反射配置、性能监控和智能推荐功能，后端架构包含反射服务、存储层、查询重写引擎和智能推荐系统。实际应用案例显示，反射技术可实现15-30倍的查询性能提升。
2025-11-03 21:11:03
750
原创 Dremio开源数据湖引擎
本文深入解析Dremio数据湖引擎的技术架构，主要包括以下内容：1）Dremio的核心应用场景包括数据湖查询加速、多源联邦查询、数据虚拟化等；2）系统采用模块化设计，包含查询引擎、存储插件、服务组件等核心模块；3）关键技术栈基于Calcite、Arrow等开源框架；4）采用插件化架构、工厂模式等设计模式实现可扩展性；5）详细分析查询执行流程和反射加速机制；6）提供存储插件开发和优化规则扩展的实现示例；7）介绍多种部署方式。
2025-11-01 09:57:21
884
原创 SQLBot：基于大模型和RAG的智能问数系统
摘要：SQLBot是一款基于大模型和RAG技术的智能数据分析系统，支持自然语言转SQL查询。系统采用FastAPI+Vue3现代化架构，核心功能包括：1）多数据源连接管理；2）LLM服务实现Text-to-SQL转换；3）RAG增强的语义检索；4）流式响应交互。技术亮点包含工厂模式管理AI模型、单例模式缓存嵌入模型、策略模式支持多数据库类型。系统通过组件化设计和容器化部署，为企业数据分析、BI系统集成等场景提供智能查询能力，是AI技术在企业级应用中的典型实践案例。
2025-10-31 19:15:29
1325
原创 LangGraph 官方教程：聊天机器人之七
摘要 LangGraph的时间旅行功能允许用户回退和探索聊天机器人的不同执行路径。通过get_state_history方法可以获取历史检查点，并在特定时间点恢复执行。该功能支持两种实现方式（Python和JavaScript），适用于需要修复错误、尝试不同策略或构建自主代理等场景。关键步骤包括：1) 添加检查点保存状态；2) 浏览完整状态历史；3) 通过checkpoint_id从指定时间点加载状态。该功能为调试和交互式应用开发提供了强大支持，特别适合构建复杂AI工作流和自主代理系统。
2025-10-30 12:03:20
964
原创 LangGraph 官方教程：聊天机器人之六
本文介绍了如何在LangGraph中实现自定义状态管理，通过添加name和birthday字段来增强聊天机器人功能。关键步骤包括：1) 在状态中定义额外字段；2) 创建human_assistance工具实现人工审核机制；3) 演示了状态更新流程，包括人工干预时修正数据。文章特别展示了如何通过中断机制获取人工输入，并利用Command对象更新状态，同时还介绍了手动更新状态的方法。这种设计模式使得复杂的工作流控制成为可能，同时保持了数据的持久性和可追溯性。
2025-10-29 12:19:50
1057
原创 LangGraph 官方教程：聊天机器人之五
本文介绍了如何在LangGraph框架中实现人机协作控制功能。通过添加human_assistance工具和使用interrupt函数，可以使AI系统在执行过程中暂停并等待人工输入，从而在需要人工监督或干预的场景下提高可靠性。文章详细展示了Python和JavaScript两种语言的实现代码，包括工具定义、图构建、执行中断与恢复的全流程。该功能基于检查点持久化机制，支持无限期暂停后准确恢复执行，为构建更可靠的AI代理系统提供了关键技术支持。
2025-10-28 12:30:00
839
原创 LangGraph 官方教程：聊天机器人之四
本文介绍了如何通过LangGraph的检查点系统为聊天机器人添加记忆功能，实现连贯的多轮对话。主要步骤包括：1）创建内存检查点器（MemorySaver）；2）在编译图时配置检查点器；3）通过指定thread_id来维护对话上下文；4）演示了检查点系统如何在不同thread_id下保持独立对话状态。该方法不仅支持简单的聊天记忆，还能保存和恢复复杂状态，为错误恢复、人机协作等工作流提供了基础。文中提供了Python和JavaScript两种实现代码，并展示了如何检查保存的对话状态。
2025-10-27 12:05:22
736
原创 LangGraph 官方教程：聊天机器人之三
本文介绍了如何通过LangGraph的检查点系统为聊天机器人添加记忆功能，实现多轮对话的上下文保存。通过创建MemorySaver检查点器（可替换为数据库存储方案），在编译图时注入该检查点器，并使用唯一thread_id标识对话线程，系统能自动保存和恢复状态。这使机器人能在不同对话中记住用户信息，如演示中机器人能准确回忆用户姓名。检查点系统比简单记忆更强大，可处理复杂状态，支持错误恢复和人机协作等工作流。最后展示了如何通过get_state()方法查看保存的对话状态，包括完整的消息历史记录。
2025-10-26 12:16:29
1101
原创 LangGraph 官方教程：聊天机器人之二
本文介绍了如何通过集成Tavily搜索引擎来增强聊天机器人的回答能力。主要内容包括：1)安装和配置Tavily搜索API；2)定义搜索工具并绑定到语言模型；3)构建状态图(StateGraph)实现对话流程控制；4)添加条件边(conditional edges)实现工具调用逻辑；5)使用预构建组件简化开发。最终实现的聊天机器人能自动判断何时需要网络搜索，并整合搜索结果给出更准确的回答。这种方法显著扩展了聊天机器人处理超出其训练数据范围问题的能力。
2025-10-25 17:05:40
952
原创 LangGraph 官方教程：聊天机器人之一
摘要： LangGraph是一个面向开发者的AI智能体构建框架，强调可靠性、可控性和可扩展性。开发者可通过审核检查、持久化上下文和人类参与审批来确保智能体行为合规。其核心特性包括：1）使用低层原语构建自定义智能体；2）支持多智能体系统协作；3）提供原生流式传输，实现执行过程实时可见。教程指导用户从基础聊天机器人开始，逐步添加工具调用、记忆存储、人工审核等功能，最终构建支持复杂查询处理的智能体。
2025-10-24 18:49:11
1063
原创 SuperSonic提示词设计与实现深度解析
本文深入解析了SuperSonic文本到SQL流程中的提示词体系，从核心机制到工程实践。系统通过Few-shot示例选择、Schema格式化、上下文信息注入等构建精准提示词，并设计多场景模板（SQL解析、纠错、优化、建模）。关键技术包括：智能示例采样机制保证多样性，结构化Schema表示降低解析歧义，自一致性投票提升结果稳定性。工程实践层面实现了字段下采样控制长度，规则化+LLM双重纠错机制，以及性能优化策略。实际案例验证了系统在时间范围推理、聚合条件处理等方面的有效性，准确率可达95%以上。
2025-10-23 18:20:39
1479
原创 SuperSonic Text2SQL：智能自然语言转SQL解析引擎
SuperSonic的Text2SQL功能通过大语言模型实现自然语言到SQL的转换，采用多策略生成、智能Schema映射、Few-shot学习等技术。核心架构包含LLMSqlParser解析器、LLMRequestService请求服务和SqlGenStrategy生成策略，支持自一致性推理和多轮纠错。系统通过Prompt优化、并行推理和缓存策略提升性能，采用模块化设计确保扩展性和可靠性，为AI+BI系统提供了高效的自然语言查询解决方案。
2025-10-22 19:32:32
707
原创 Palantir的本体论建模跟数仓建模的异同
Palantir的Foundry Ontology通过构建组织的数字孪生体，将数据集和模型映射为对象类型、属性、链接和操作类型，形成完整的语义知识网络。与传统数仓建模相比，本体建模以业务问题为驱动，强调细粒度语义和实时决策能力，采用图语义技术实现灵活的映射关系。
2025-10-21 20:27:46
940
原创 AI+BI平台SuperSonic解析
SuperSonic是一个AI驱动的BI平台，采用SpringBoot微服务架构，集成LangChain4j和多种数据库，通过语义层和LLM实现自然语言到SQL转换。核心功能包括：1）企业数据分析，支持自然语言查询和智能报表生成；2）数据民主化，降低非技术人员使用门槛；3）多源数据整合，统一访问异构数据源。平台采用策略模式、工厂模式等设计模式，关键组件包括LLMSQL解析器、语义层服务和查询执行引擎。技术栈涵盖Java21、React18、LangChain4j等，支持独立和分布式部署。
2025-10-21 17:45:00
1512
原创 WrenAI：企业级AI数据分析平台技术解析
WrenAI是一个开源的企业级AI数据分析平台，采用微服务架构设计，包含前端React应用、后端GraphQL服务和AI推理引擎三大核心组件。平台通过自然语言查询实现智能数据分析，主要应用于商业智能分析、数据民主化和企业数据治理场景。技术架构上使用Python FastAPI处理AI推理、Node.js实现GraphQL中间层，并采用Docker容器化部署。项目亮点包括管道式AI处理流程、多LLM适配器模式以及实时状态管理机制，为企业提供了一套完整的AI驱动数据分析解决方案。
2025-10-20 18:37:07
1068
原创 Langgraph译文1：让AI自主决策的代理架构
本文介绍了LLM代理架构的核心概念及其实现方式。代理系统通过让LLM自主决定控制流程来解决复杂问题，主要包含路由器、工具调用代理等架构。路由器通过结构化输出实现单步决策，工具调用代理则支持多步决策、记忆管理和规划能力。文章还探讨了自定义代理架构的关键功能：人类参与可提升高风险任务的可靠性；并行化提高处理效率；子图实现模块化管理；反思机制支持自我改进。这些技术共同构成了灵活强大的代理系统框架，可处理复杂工作流并持续优化性能。
2025-10-18 16:01:29
650
原创 Vanna.AI：基于RAG的智能SQL生成框架解析
Vanna.AI是一款开源的Python RAG框架，专注于将自然语言转换为SQL查询。该项目采用模块化架构，支持多种LLM和向量数据库，通过训练-检索-生成的工作流程实现高精度SQL生成。核心功能包括：1）企业数据分析，使非技术人员能够进行复杂查询；2）数据库管理自动化；3）教育培训工具。技术架构上，项目使用抽象工厂模式、策略模式等设计模式，支持OpenAI、Claude等LLM集成，以及ChromaDB、Pinecone等向量数据库。
2025-10-17 12:30:00
732
原创 Cherry Studio知识库功能解析
CherryStudio知识库系统采用RAG技术实现智能文档管理，核心架构包括知识服务主进程、多格式文档加载器和基于SQLite的向量数据库。系统支持文本/网页/电子书/Office文档处理，通过递归分块和向量化技术实现内容检索。采用混合搜索策略（向量+文本搜索）结合重排序算法优化结果，并具备并发处理、缓存机制等性能优化设计。系统提供插件化扩展接口和配置化管理，支持自定义文档处理和嵌入模型。用户界面包含知识库管理、分页设置和实时状态显示功能，形成了一套高效可扩展的知识检索解决方案。
2025-10-16 12:30:00
1702
基于 LangGraph 构建的多功能聊天机器人练习项目
2025-10-30
将MySQL数据库迁移到ClickHouse
2025-10-03
自动生成ppt格式数据分析报告的脚本
2025-10-02
基于Flask和Plotly的交互式饼图生成器，支持多种数据输入方式和图表类型，可以自行扩展
2025-10-02
ollama+大模型+python+langchain+mysql实现数据表查询问答
2024-09-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人