SmartSi

原创 Flink 高分笔记

这篇博客文章总结了Flink流计算相关的基础知识和实践指南。主要内容包括：1) 流计算基础概念，如事件时间、Watermark机制、Exactly-once语义；2) Flink基础操作，如安装部署、程序结构、并发设置、故障恢复；3) DataStream API核心功能，包括时间概念、窗口计算、状态管理、双流Join等；4) Table API与SQL的使用方法和工作原理。文章提供了丰富的技术文档链接，涵盖了Flink从入门到进阶的各个方面，既有理论讲解也有实践案例，是一个系统的Flink学习资源合集。

原创 大数据实践案例月报指南

为您准备了阿里、字节、百度等大厂实践案例

原创 Hive 高分笔记

Hive 高分笔记

原创 Flink 源码解读

Flink 源码解读系列

原创 Spark 高分笔记

Spark 系统性学习笔记系列

原创 Hadoop 高分笔记

Hadoop 精选内容汇总

转载 新一代实时数据集成框架 Flink CDC 3.0 架构解析

Flink CDC 3.0 实现了端到端的全增量数据同步解决方案，支持表结构变更自动同步、整库同步等核心功能。其架构分为 API、Connect、Composer 和 Runtime 四层，通过自定义 Event 数据结构和深度优化的算子链路（包括 Source、Schema、Route 和 Partition 等模块），实现了高效的数据流转与处理。特别是通过 SchemaRegistry 协调机制，确保表结构变更时数据一致性，并采用基于正则表达式的路由规则支持灵活的整库同步场景。该版本显著提升了数据同步效

转载 Flink CDC 2.4 正式发布，新增 Vitess 数据源，更多连接器支持增量快照，升级 Debezium 版本

Flink CDC 2.4版本核心特性与改进摘要（150字）： Flink CDC 2.4版本发布重大更新，新增Vitess CDC连接器支持增量数据同步；PostgreSQL和SQL Server连接器接入增量快照框架，实现无锁读取与断点续传。核心改进包括：增量快照框架新增自动释放空闲Reader功能，显著节省资源；MySQL CDC支持无主键表读取和新增表不断流同步；升级Debezium至1.9.7修复多项DDL解析问题；MongoDB CDC优化时间戳消费支持。该版本兼容Flink 1.13-1.17

原创 AgentScope Java 入门：Tool 工具系统——让 Agent 真正“动手做事“

摘要： AgentScope Java的Tool系统为Agent提供"手脚"能力，弥补大语言模型在实时信息获取、精确计算和外部操作上的短板。通过@Tool和@ToolParam注解可快速定义工具，注册到Toolkit后由ReActAgent自主调用。工具支持同步、异步和流式返回，具备注解驱动、自动Schema生成、并行执行等特性。开发者需清晰描述工具用途和参数格式，以指导模型正确使用。该系统实现了Agent"思考-行动"的闭环，使其能查询天气、计算数据或调用API，完成实际任务。

原创 AgentScope Java 入门：如何使用 OllamaChatModel 集成 Ollama 自托管平台

是 AgentScope Java 中本地化部署的最佳选择要点说明核心类最小配置modelName（甚至baseUrl都可省略）无需 API Key本地服务，零成本无限调用专属调优40+ 参数精细控制 GPU/内存/采样策略思考模式核心价值：数据不出机器、推理零成本、完全可控。对于隐私敏感场景和本地开发调试，+ Ollama 是最理想的组合。

原创 AgentScope Java 入门：如何使用 OpenAIChatModel 集成兼容 OpenAI 协议模型

摘要：本文介绍了如何使用 OpenAIChatModel 集成 OpenAI 及兼容平台（如 DeepSeek、SiliconFlow 等）。作为事实标准的 API 协议，OpenAI 兼容性让开发者能快速接入多个主流 LLM 平台。文章涵盖环境配置（JDK 17+、Maven 依赖）、核心代码示例（通过 apiKey 和 modelName 调用 GPT-4o），并详解了 baseUrl 等关键参数的作用。重点展示了如何通过修改端点轻松切换至 DeepSeek 等兼容平台，提供了模型选型建议（如日常开发推

原创 AgentScope Java 入门：如何使用 DashScopeChatModel 集成百练模型

本文介绍了如何在AgentScope Java中集成阿里云百炼（DashScope）平台的大语言模型，重点讲解了DashScopeChatModel的配置与使用。文章首先说明了环境准备步骤，包括Maven依赖配置和API Key获取，然后通过3行代码示例展示了快速调用百炼模型的方法。接着详细解析了DashScopeChatModel的核心配置参数，包括必填的apiKey和modelName，以及可选的流式输出、思考模式等设置。最后列举了百炼平台提供的多种模型选项，从旗舰级的qwen3.6-max-previ

原创 AgentScope Java 入门：搭建第一个 ReAct 智能体

本文介绍了如何使用AgentScope Java构建基于ReAct范式的智能体。主要内容包括： ReAct范式原理：通过推理-行动-观察的循环过程模拟人类解决问题的方式 快速构建智能体： 使用Maven引入AgentScope依赖 获取API Key 创建基础ReActAgent实现对话功能 为智能体添加工具： 定义工具类和方法 注册工具到Toolkit 构建带工具的ReActAgent实现天气查询等实际功能 系统架构：分层设计，与Python版概念对应但基于Java生态实现 文章通过具体代码示例展示了如何

原创 AgentScope Java 入门：Spring AI Alibaba 与 AgentScope 的定位与区别

摘要：Spring AI Alibaba是阿里基于Spring AI开发的本地化AI应用框架，旨在服务Java开发者。它提供模型接入、函数调用、RAG等功能，并与阿里云基础设施深度集成。同时，阿里开源了多智能体框架AgentScope，其Java版（AgentScope-Java）专注于Agentic设计理念。两者将协同发展：Spring AI Alibaba侧重Spring生态集成，AgentScope-Java强化智能体能力。未来计划包括支持AgentScope、升级Admin平台，以及推进Server

原创 AgentScope Java 入门：如何安装 AgentScope

AgentScope Java 支持多种模型、RAG 后端和扩展功能，各自需要不同的第三方 SDK。大多数情况下用 all-in-one 就够了，需要精细控制依赖时再换成 core + 扩展。

原创 Spring AI 实战：如何使用 MCP Client 接入 MCP 天气查询服务

上一篇，我们搭建了一个 MCP 天气服务（Server），它运行在，对外暴露了工具。但 Server 本身不会说话——它只会安静地等待被调用。本文将构建一个：北京今天天气怎么样？：（自动调用 get_weather 工具）北京今天局部多云，温度 25°C…

原创 Spring AI 实战：如何使用 MCP Server 搭建 MCP 天气查询服务

MCP（Model Context Protocol）是 Anthropic 提出的一种开放协议，它定义了AI 模型与外部世界交互的标准方式。通俗地说：大模型本身只拥有训练数据中的知识，它不知道今天的天气、无法查询你的数据库、不能调用你的内部 API。MCP 就是解决这个问题的"桥梁"——它让模型能够发现并使用外部工具（Tools），就像人用手去操作工具一样。角色职责对应依赖MCP Server暴露工具（Tool），供模型调用MCP Client连接 Server，让模型发现和使用工具本文我们先聚焦。

原创 Spring AI 实战：从0到1搭建第一个AI应用

Spring AI为Java开发者提供了统一的AI应用开发框架，打破Python主导AI开发的局面。本文介绍了使用Spring AI的快速入门指南，包括环境准备（JDK17+、Maven3.8+）、初始化Spring Boot工程（3.5.14版本）以及配置依赖项（如Ollama和OpenAI模型）。详细说明了Maven Central仓库的配置方法，以及如何添加Spring快照仓库获取开发版本。通过Spring AI，开发者可以在熟悉的Spring生态中实现企业级AI应用开发。

转载 从RAG到GraphRAG：货拉拉元数据检索应用实践

摘要 GraphRAG是RAG技术的进阶架构，通过引入知识图谱优化检索与生成过程。相比传统RAG基于向量检索文档片段，GraphRAG构建结构化知识图谱，利用图算法挖掘实体间复杂关系，显著提升对复杂问题的推理能力和回答的系统性。主流GraphRAG方案结合图索引、向量索引和全文索引，支持多跳推理。在实际应用中，GraphRAG相比传统RAG在元数据检索场景表现更优，能有效解决同义词匹配、多实体关联等挑战。通过分析业务场景中的badcase，发现知识召回环节的不足是影响效果的主要因素，其次是知识库质量和边界问

原创 Typesafe Config 深入浅出：JVM 生态中最优雅的配置管理

作为 JVM 生态中最流行的配置库，它不仅解决了上述问题，还带来了类型安全、不可变性、变量替换等高级特性。TypeSafe Config 的配置输出，简单来说就是将程序运行时加载的、经过合并和解析后的配置数据，以指定的格式（如 HOCON 或 JSON）导出成字符串。此外还可以允许应用程序提供自定义的 Config 文件来替代默认配置，以应对应用需要在单个 JVM 内管理多个配置，或希望从其他位置加载额外配置文件的情况。是 Typesafe Config 的入口类，提供了丰富的静态方法来创建和加载配置。

原创 Dify 实战：如何通过知识库实现专业性 AI 问答助手

本文介绍了Dify开源平台如何通过知识库功能解决企业数据检索难题。Dify知识库采用检索增强生成(RAG)技术，将私有数据与大语言模型结合，实现精准问答。文章详细讲解了知识库的创建流程，包括数据源选择、文本分段处理（通用/父子模式）和索引方式配置（高质量/经济型）。通过可视化操作界面，用户无需编程即可构建基于特定领域知识的AI应用，如智能客服、企业知识门户等。Dify知识库有效降低了AI应用开发门槛，同时通过检索私域数据显著提升了回答准确性，避免了大模型的

转载 AgentScope Java v1.0 发布，让 Java 开发者轻松构建企业级 Agentic 应用

AgentScope Java 1.0正式发布，为企业级智能体应用提供全生命周期解决方案。该版本采用领先的ReAct开发范式，支持实时介入控制与高效工具调用，内置任务规划、结构化输出等强大功能。提供安全沙箱、上下文工程等企业级能力，易于集成现有技术栈，并具备高性能架构。依托阿里云生态，支持一键部署至百炼和函数计算平台。同时配备可视化调试、A/B测试等完整工具链，构建AI原生应用数据飞轮，助力智能体从实验室原型快速落地到实际业务场景。

原创 DataX 入门：异构数据源离线同步

DataX是阿里巴巴开源的异构数据源离线同步工具，支持多种数据源间的稳定高效数据传输。采用Framework+Plugin架构，通过Reader和Writer插件实现数据采集与写入，Framework处理数据传输、缓冲等核心问题。DataX3.0支持单机多线程模式，通过任务切分和调度实现高并发同步，具备可靠的数据质量监控、丰富的数据转换功能、精准的速度控制和强劲的同步性能等核心优势。其插件体系覆盖主流数据库和大数据系统，每天可处理8万+作业，传输300TB+数据，在阿里巴巴内部长期稳定运行。

转载 AgentScope 正式发布 Skills 支持 - 实现渐进式披露

本文提出了一种基于渐进式披露的Skill机制，用于解决大语言模型Agent系统中多能力管理的关键挑战。该机制通过分层加载策略，将知识分为元数据、指令和资源三个层次：启动时仅加载轻量级元数据（约100 tokens/Skill），执行时按需加载完整指令（约2k tokens），使用时动态获取相关资源。相比传统全量加载、多Agent或RAG方案，该方法在保持知识完整性的同时显著降低上下文占用（3k vs 20k tokens），支持无限扩展Skill数量。文章以电商客服场景为例，详细阐述了Skill的结构规范（

原创 MCP 入门：什么是 MCP 模型上下文协议

MCP（Model Context Protocol）是2024年崛起的一项AI通用连接技术，旨在解决大模型与外部服务之间的交互难题。文章从三个方面介绍了MCP的核心价值： 问题背景：传统AI插件系统存在重复开发、接口不统一的问题，MCP通过标准化协议实现了"一次开发，多平台通用"的解决方案，类比为AI界的"USB-C接口"。 应用场景：MCP已广泛应用于生活服务、代码托管、数据操作等领域，使AI能够直接调用地图、GitHub、数据库等外部服务。 技术架构：采用&qu

原创 Dify 实战：接入 Ollama 打造你的私有化本地大模型应用

本文介绍了如何将本地运行的Ollama大语言模型与Dify开发平台结合，构建完全私有的AI应用。通过Docker部署Dify并配置Ollama模型（如Qwen），用户可以在本地硬件上实现数据不出内网的AI解决方案。文章详细说明了环境准备、模型下载、Dify部署和模型配置步骤，并以旅游助手为例演示应用创建流程。这种组合方案具有数据隐私、低成本、灵活定制等优势，适合需要合规性和可控性的企业及开发者使用本地LLM构建各类AI应用。

原创 AI高分笔记

本文整理了关于大模型应用开发的一系列实战文章，涵盖Dify、Ollama和Spring AI三大技术方向。Dify部分包括Docker部署、MCP Server接入和Firecrawl插件应用；Ollama涉及本地模型运行和Spring AI调用；Spring AI重点介绍ChatMemory对话应用开发。此外还包含多个行业实践案例，如喜马拉雅ChatBl、腾讯音乐OLAP结合大模型等技术探索，以及LangChain框架解析，全面展示了大模型在不同场景下的应用实践。

原创 Spring AI 实战：通过 ChatMemory 构建有记忆的智能对话应用

随着大语言模型（LLM）的火热，聊天机器人、智能客服等对话式 AI 应用已经走进了我们的日常生活。但你可能不知道，大多数大模型本身是“健忘”的——它们每次接收请求都是独立的，并不会记住你和它之前聊了什么。为了让 AI 能够像人一样拥有“记忆”，我们需要在应用层面帮它存储和回顾历史对话。Spring AI 作为 Spring 生态中专为 AI 应用开发的利器，提供了一个叫做 ChatMemory 的组件，可以帮我们轻松管理对话历史。今天，我们就来手把手地学习如何使用它，打造一个真正有记忆的智能对话应用。

原创 Ollama 实战：使用 Spring AI 调用 Ollama 本地大模型

Spring AI 让 Java 开发者能够以极低的成本接入 AI 能力，无论是调用云端 API 还是本地模型。结合 Ollama，你可以在完全掌控数据的情况下，为应用注入智能对话、文本生成等能力。

原创 Ollama 实战：从零开始本地运行大语言开源模型

Ollama简化了大语言模型的本地部署流程，支持macOS、Linux和Windows系统。本文详细介绍了Ollama的安装方法（官网下载/脚本安装）、模型下载运行（如Qwen2.5:7b）以及API服务部署。通过简单的命令行即可实现交互式对话，并提供OpenAI兼容的API接口（默认11434端口），方便开发者集成到各类应用中。Ollama降低了LLM使用门槛，使本地运行大模型变得简单高效。

原创 通过 Jenv 管理多 JDK 版本

Jenv 是一个轻量级的 Java 版本管理工具，支持在 macOS/Linux 上安装、切换和管理多个 JDK 版本。本文介绍了 jenv 的安装配置方法，包括通过 Homebrew 安装、环境变量设置以及常见问题解决。详细讲解了如何使用 jenv 添加和管理多个 JDK 版本（如 OpenJDK 和 Oracle JDK），以及如何设置全局、局部和临时 Java 版本。此外，还提供了从 jenv 中移除 JDK 的方法。jenv 通过简单的命令即可实现 JDK 版本切换，极大提升了 Java 开发环境的

原创 Dify 实战：使用 Firecrawl 插件高效爬取微信公众号文章

本文介绍了如何利用Dify平台和Firecrawl插件构建微信公众号文章自动化采集系统。Dify作为开源LLM应用开发平台，结合Firecrawl的智能网页爬取能力，可轻松实现文章爬取、清洗和结构化存储。文章详细讲解了环境部署、插件安装以及工作流创建过程，通过可视化节点操作即可完成从URL输入到Markdown格式输出的全流程。该方案无需复杂代码，能有效解决反爬、动态渲染等问题，适用于知识库构建、模型训练等场景，显著提升开发效率。

原创 ClickHouse 实战：如何使用聚合组合器

ClickHouse 不仅支持标准聚合函数，还提供了大量更高级的函数以满足大多数分析场景的需求。除了聚合函数之外，ClickHouse 还提供了聚合组合器，这是对查询能力的强大扩展，能够应对海量复杂需求。

转载 Prompt 实践：23 招教你掌握大模型提示词技巧

过去一个月，全球 AI 领域接连引爆"深水炸弹"：推理成本直降 80% 的 Deepseek-R1 横空出世，OpenAI 对 GPT-4o 进行了迭代更新，马斯克的 xAI 推出 Grok 3 模型并声称性能超越ChatGPT … 在这场技术地震中，最引人注目的当属完全开源的 DeepSeek。这款主打深度推理的模型不仅性能碾压 GPT-3.5，在结构化思维层面甚至比肩 GPT-4。

原创 Dify 实战：通过 Dify 快速接入 MCP Server

本文介绍了如何在Dify平台快速接入高德地图MCP Server。主要内容包括：获取高德开放平台Key并构建MCP配置地址；在Dify中添加MCP服务；创建Agent应用并配置提示词，通过调用MCP工具实现地理位置查询功能。整个过程展示了Dify原生支持MCP协议的优势，无需编写业务代码即可完成外部工具集成，主要依靠配置和提示词工程实现功能。最终成功验证了应用能正确调用高德地图API查询周边信息。

原创 Dify 实战：使用 Docker Compose 部署 Dify

本文介绍了Dify开源平台的安装部署流程。首先明确了系统最低要求：2核CPU和4GB内存，并提供了macOS、Linux和Windows系统的Docker环境配置指南。随后详细说明了安装步骤：克隆1.9.1版本代码库，配置环境变量，使用docker-compose启动服务。最后通过容器状态检查确认了包括api、worker、web等9个核心服务的正常运行情况。该指南为开发者提供了完整的Dify平台本地部署方案，特别强调了不同操作系统下Docker环境的配置要点。

原创 ClickHouse 实战：深入了解 MergeTree 家族 III 之 SummingMergeTree 表引擎

本文介绍了ClickHouse中的SummingMergeTree表引擎，该引擎用于预先定义聚合条件的汇总查询场景。文章首先分析了使用普通MergeTree表进行聚合查询的缺点，包括额外存储和查询开销。随后详细说明了SummingMergeTree的语法、特性及使用方式，包括指定/不指定求和列的区别、主键与排序键的设置原则，以及该引擎的最终一致性特点。最后指出在实际查询中仍需结合SUM和GROUP BY进行手动聚合以确保结果准确性。该引擎能有效减少数据行数并降低后续汇总查询开销。

原创 ClickHouse 实战：深入了解 MergeTree 家族 II 之 ReplacingMergeTree 表引擎

ReplacingMergeTree是ClickHouse中用于数据去重的表引擎，通过合并数据分片时删除重复行实现"最终一致性"。它基于ORDER BY字段而非PRIMARY KEY去重，支持显式（指定版本列）和隐式版本控制策略，并可标记行状态（is_deleted）。由于去重是异步进行的，查询时需配合FINAL运算符确保结果准确。该引擎适合后台清理重复数据以节省存储空间，但不保证完全无重复数据，适用于对实时性要求不高的场景。

原创 ClickHouse 原理：深入解析数据分片 Part

在 ClickHouse 的世界里，数据分片 Part 是一个核心概念，它直接影响到系统的存储效率、查询性能和数据管理方式。理解数据分片 Part 的工作原理，对于优化 ClickHouse 集群的性能至关重要。本文将从基础概念出发，逐步深入探讨 Part 的各个方面。

原创 ClickHouse 高分笔记