武子康-CSDN博客

原创大语言模型 00 - Ollama：本地部署大模型的便捷新选择 | 快速安装 & 多卡运行实战

✅ 简单易用✅ 支持 GPU 加速✅ 自动下载模型 & 自动运行✅ 支持多卡并行📦 安装简单：一行命令完成安装📉 低门槛运行：无需复杂环境配置🎯 本地部署：支持多卡并行推理🧰 丰富模型：官方持续更新模型库。

2025-04-23 09:53:34 580

原创 Java-01 深入浅出 MyBatis - MyBatis 概念 ORM映射关系常见ORM 详细发展历史

MyBatis 是一款优秀的基于 ORM 的半自动轻量级持久层框架，它支持定制化的 SQL、存储过程以及高级映射，MyBatis 避免了几乎所有 JDBC 代码和手动设置参数以及获取结果集。MyBatis 可以使用简单的 XML 或注解来配置和映射原生类型、接口和 Java 的 POJO（Plain Old Java Objects，普通老式 Java 对象）为数据库记录。

2024-11-15 09:30:50 3541 1

原创大数据-01-基础环境搭建超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece

这里是三台公网云服务器，每台 2C4G，搭建一个Hadoop的学习环境，供我学习。之前已经在 VM 虚拟机上搭建过一次，但是没留下笔记，这次趁着前几天薅羊毛的3台机器，赶紧尝试在公网上搭建体验一下。自己写的小工具，防止AutoDL机器过期的。还跑着别的Web服务，所以只能挤出一台 2C2G 的机器。

2024-06-28 09:05:50 4155 4

原创 AI-调查研究-03- 作为程序员我们的技术时间投入与薪资收入回报成正比吗？【下篇】

许多技术人面临“能力增长但收入停滞”的困境，核心原因在于：一是行业供需变化，岗位饱和导致经验不再值钱；二是经济下行压缩薪资空间；三是技术方向单一，难以体现差异化价值；四是缺乏管理与业务能力，晋升受限。破解之道包括：发展副业如内容创作、咨询服务等，构建多收入来源；跨界融合管理、业务或垂直行业，突破成长天花板；持续学习新兴技能、跳出舒适区、调整职业策略。唯有主动转型与多元布局，方能在技术积累基础上实现真正的收入跃升。

2025-06-11 09:08:26 406

原创 Java-43 深入浅出 Nginx - 基本配置方式 nginx.conf Events块 HTTP块反向代理负载均衡

Nginx 的配置文件结构清晰，主要由三个核心部分组成：全局块、events块和http块。全局块位于配置文件顶部，控制如进程用户、工作进程数、日志路径等全局参数。紧随其后的 events 块负责网络连接处理，如每个 worker 的最大连接数和事件驱动模型（如 epoll）。最重要的 http 块定义了 HTTP 请求处理逻辑，涵盖虚拟主机（server）、路由匹配（location）、负载均衡（upstream）等配置。Nginx 还支持反向代理，将请求转发至如 Tomcat 等后端服务

2025-06-11 09:01:03 761

原创 AI-调查研究-02- 作为程序员我们的技术时间投入与薪资收入回报成正比吗？【上篇】

技术投入与收入整体呈正相关，但回报并非无限增长。多数程序员在入行前五年凭技能跃迁获最大涨薪；随后受岗位层级、市场需求及“35岁”偏见等因素影响，边际收益递减，薪资易进入平台期。各国差异明显：美国高端岗位少数人收入极高，分布右偏；中国早期涨幅快，但中年易遇瓶颈；日本奉行资历工资制，曲线平缓但天花板较低。要突破停滞，应在技术深耕的同时布局管理、产品或商业化能力，选择稀缺赛道、拥抱跨领域机会，并主动争取职位晋升或转岗，方能重启收入增长。

2025-06-10 09:45:34 588

原创 Java-42 深入浅出 Nginx - 缘起与发展场景与配置快速上手

Nginx（“engine-x”）自2004年诞生以来，凭借事件驱动和非阻塞I/O架构，成功解决Apache高并发瓶颈，成为现代高性能Web服务器的代表。其“Master + Worker”多进程模型具备低内存、高并发、热重载优势，支持静态服务、反向代理、负载均衡、缓存、限流等多功能。历经Nginx Inc. 商业化及F5收购，生态持续壮大。最新版1.28.0引入QUIC优化、主机名动态解析等特性。常见于API网关、K8s Ingress、边缘缓存、直播系统等多协议统一入口场景，广泛服务于现代互联网架构中。

2025-06-10 09:30:04 505

原创 AI-调查研究-01-正念冥想有用吗？对健康的影响及科学指南

正念冥想是一种科学验证有效的身心调节方法，广泛适用于普通人群、运动者、老年人等多类人群。研究表明，它能降低焦虑、抑郁和压力水平，改善睡眠质量，增强免疫功能，提升认知能力，甚至引发大脑结构的积极变化。每日10~30分钟的练习已能带来显著效果，推荐如呼吸觉察、身体扫描等简单易行的方法。长期坚持冥想，不仅有助于心理稳定和情绪调节，也能与运动、饮食、心理治疗等健康习惯形成协同，成为现代人减压养生的重要方式。

2025-06-09 09:46:37 485

原创 Java-41 深入浅出 Spring - 声明式事务的支持事务配置 XML模式 XML+注解模式

Spring事务配置可通过三种方式实现：纯XML配置、XML+注解混合、纯注解方式。在纯XML配置中，通过引入 spring-context、spring-jdbc、spring-tx 等依赖，并结合 <tx:advice> 和 <aop:advisor> 标签完成事务增强配置，常用于老项目中。XML+注解方式则在XML中配置事务管理器并开启注解支持，通过 @Transactional 注解在业务方法中灵活控制事务行为。纯注解方式则完全摆脱XML，利用 @EnableTransactionManagemen

2025-06-09 09:24:01 437

原创 Java-40 深入浅出 Spring - 声明式事务的支持事务控制事务概念四大特性隔离级别

本文介绍了编程式事务与声明式事务的概念，重点解析了事务的四大特性（原子性、一致性、隔离性、持久性）和四种隔离级别（串行化、可重复读、读已提交、读未提交）。文章还展示了Spring事务管理的核心API——PlatformTransactionManager接口，说明其作为事务管理策略标准的作用，并指出Spring通过DataSourceTransactionManager等实现类提供具体的事务支持。最后强调声明式事务通过AOP将事务控制逻辑织入业务代码的实现方式。全文从理论基础到技术实现，系统性地讲解了事务管

2025-06-05 10:40:54 986

原创 Java-39 深入浅出 Spring - AOP切面增强核心概念通知类型 XML+注解方式附代码

本节内容继续讲解 Spring AOP 的实现方式，重点介绍了四种常见的通知类型：前置通知（aop:before）、异常通知（aop:after-throwing）、最终通知（aop:after）和环绕通知（aop:around），分别说明了它们的配置方式、执行时机和可获取的信息。随后展示了如何结合注解方式实现 AOP，包括使用 @Aspect、@Before、@AfterThrowing、@After、@Around 等注解进行切面开发，并通过 @EnableAspectJAutoProxy 启用注解驱动

2025-06-05 10:32:23 1169

原创 AI炼丹日志-28 - Audiblez 将你的电子书epub转换为音频mp3 做有声书

🚀 Audiblez：一键将电子书转换为有声书借助Kokoro-82M高质量语音合成技术，Audiblez可将.epub电子书快速转为.m4b有声书，支持中英日等8种语言。核心功能包括多语言语音选择、语速调节及GPU加速（T4 GPU转换16万字仅需5分钟）。提供命令行与GUI两种操作方式，兼容macOS/Windows/Linux。环境配置：Mac/Ubuntu需安装ffmpeg和espeak-ng，通过pip install audiblez即可使用。中文用户注意：当前版本可能存在长段落截断问题，

2025-06-04 09:37:24 1109

原创大数据-278 Spark MLib - 基础介绍机器学习算法梯度提升树 GBDT案例详解

GBDT 案例实战，手把手带你完成从残差计算到回归树构建与迭代训练的全过程，结合图示详细解析，最终预测精准输出！👉 点个关注，不迷路！后续还将持续更新更多大模型+数据智能+工程实战内容，敬请期待！GBDT 是一种集成学习方法，全称为梯度提升决策树（Gradient Boosting Decision Tree），属于 Boosting 家族的模型。它通过多个弱学习器（通常是决策树）逐步叠加，不断优化前一次模型的预测误差，从而形成一个强学习器，常用于分类、回归等任务。

2025-06-04 09:20:46 1824

原创大数据-277 Spark MLib - 基础介绍机器学习算法 Gradient Boosting GBDT算法原理高效实现

本文介绍了梯度提升树（GBDT）算法的原理与应用。首先通过通俗例子说明提升树的基本思想，然后详细解析算法流程，包括负梯度计算、回归树拟合和模型更新等关键步骤。文章比较了GBDT与传统提升树的区别，并阐述了GBDT在回归和分类问题中的优势。此外，还介绍了XGBoost、LightGBM等高效实现及其特性，分析了GBDT的适用场景和局限性。最后提供了使用XGBoost分类器的代码示例。全文深入浅出地讲解了这一重要的机器学习算法。

2025-06-03 09:13:03 1064

原创大数据-276 Spark MLib - 基础介绍机器学习算法 Bagging和Boosting区别 GBDT梯度提升树

本文介绍了机器学习中Bagging与Boosting的区别，以及GBDT（梯度提升决策树）算法原理。主要内容包括：1）Bagging和Boosting在数据采样、投票方式、学习顺序和应用场景上的差异；2）GBDT的基本概念和使用CART回归树的原因；3）回归决策树的构建流程，包括最优切分点选择、区域划分和输出值计算；4）通过具体案例演示回归树的生成过程，包括损失函数计算和递归划分策略。文章对理解集成学习和决策树算法具有实用参考价值。

2025-06-03 09:04:26 888

原创大数据-275 Spark MLib - 基础介绍机器学习算法集成学习随机森林 Bagging Boosting

本文系统介绍了机器学习中的集成学习方法。主要内容包括：1)集成学习的基本定义与分类，通过结合多个模型提升预测性能；2)Bagging方法原理及应用，重点讲解随机森林的实现过程；3)Boosting方法的核心思想，包括Adaboost等算法的逐步增强机制。文章通过图示直观展示了不同集成学习技术的运作流程，比较了它们在解决欠拟合和过拟合问题上的作用。整体而言，集成学习方法能够显著提升模型性能，是机器学习领域的重要技术。

2025-06-02 11:07:21 528

原创 AI炼丹日志-27 - Anubis 通过 PoW工作量证明的反爬虫组件上手指南原理解析

Anubis 采用类似于区块链挖矿的机制 —— Proof-of-Work（工作量证明），通过要求访问者在请求前完成一定的计算任务，来有效阻止自动化爬虫脚本对网站内容的抓取。对人类用户几乎无感，但会显著增加爬虫成本和请求延迟。Anubis 使用工作量证明（Proof of Work）机制来验证客户端是否为真实用户。其灵感来源于 Hashcash，这是 2000 年代初提出的一种方案，旨在通过扩展电子邮件协议来防止垃圾邮件。

2025-06-01 09:54:01 815

原创 AI炼丹日志-26 - crawl4ai 专为 AI 打造的爬虫爬取库上手指南

Crawl4AI是一个开源的网页爬取工具，专为AI应用优化，提供高效的数据提取和Markdown格式化功能。该项目已在GitHub上成为热门趋势库，支持LLM（大语言模型）的RAG应用和微调。主要特点包括：6倍速度提升、智能提取算法、灵活部署（支持Docker）和活跃社区维护。安装简单，可通过pip或Docker快速配置。创始人因不满现有付费爬虫工具而开发，强调数据民主化和开源精神。适用于实时数据处理、AI代理开发等场景，包含丰富的文档和教程资源。

2025-05-31 09:29:20 1522

原创 AI炼丹日志-25 - OpenAI 开源的编码助手 Codex 上手指南

本文将介绍OpenAI开源的Codex编码助手，一个终端运行的轻量级AI编程工具。内容涵盖：1)工具特点：零配置、全自动审批、多模态支持；2)环境配置要求：推荐Node.js 22+版本；3)安装使用步骤：包括API密钥设置和测试示例；4)配置文件说明：如config.json和instructions.md的配置方法。该工具结合了ChatGPT的推理能力与代码执行功能，支持多种AI模型，可显著提升开发效率。目前项目完全开源，适合开发者直接使用或参与贡献。

2025-05-31 08:59:14 1149

原创 AI炼丹日志-24 - MCP 自动操作提高模型上下文能力 Cursor + Sequential Thinking Server Memory

本文介绍了两种提升AI模型开发效率的解决方案：Sequential Thinking和Server Memory。Sequential Thinking将复杂任务拆分为可管理的小步骤，逐步解决；Server Memory则通过缓存关键信息，确保模型在多轮交互中保持上下文连贯。文章提供了这两个工具的具体配置方法（基于MCP框架）和使用示例，展示了如何通过分步思考和记忆机制来应对AI开发中的"遗忘"问题，从而提高代码生成和需求分析的准确性与连贯性。这两种方法可以单独或组合使用，有效优化AI辅

2025-05-30 09:34:02 981

原创 AI炼丹日志-23 - MCP 自动操作自动进行联网检索扩展MCP能力

摘要： Model Context Protocol (MCP)是一种标准化AI模型连接数据源的开放协议，类似USB-C接口。其架构包含主机、客户端、服务器及本地/远程数据源。本文以Cursor AI工具为例，演示MCP的实际应用：通过时间服务解决模型时效性问题，利用Exa.ai实现联网搜索功能。测试显示，结合时间验证可显著提升搜索结果的时效性，OpenAI最新进展的检索结果从泛泛而谈改进为包含具体日期（如2025年3-4月）的精准信息。MCP有效增强了AI模型获取外部数据的能力。

2025-05-30 08:52:26 550

原创大数据-274 Spark MLib - 基础介绍机器学习算法剪枝后剪枝 ID3 C4.5 CART

《决策树算法解析与实践》文章摘要：本文系统介绍了决策树的预剪枝与后剪枝原理，对比了ID3、C4.5和CART三种主流算法的核心差异，包括分裂标准、属性支持类型和剪枝方法。重点阐述了信息增益、信息增益率与基尼系数的计算原理，详细讲解了从树生成到剪枝的完整流程，并通过Spark MLlib中的Scala代码实例演示了决策树分类器的实现过程。文中还包含清晰的算法对比图表和技术要点总结，为读者提供了从理论到实践的完整决策树学习路径。

2025-05-29 10:31:31 1163

原创大数据-273 Spark MLib - 基础介绍机器学习算法决策树分类原则分类原理基尼系数熵

本文介绍了决策树的基本概念、分类原则和分类原理。决策树是一种非线性有监督分类模型，通过树形结构进行属性判断和分类。分类时应选择能将数据分类更纯粹的节点作为根节点，减少树高和训练次数。分类原理涉及熵、条件熵、信息增益等概念：熵衡量信息混乱程度，信息增益反映分类前后熵的变化，基尼系数也可表示样本混乱程度。为避免过拟合，可采用信息增益率（C4.5算法）来选择分类条件。文章通过天气预测车祸案例，直观展示了不同属性作为根节点时的决策树差异。

2025-05-28 09:26:37 1690

原创 AI炼丹日志-22 - MCP 自动操作 Figma+Cursor 自动设计原型

本文介绍了如何通过MCP实现Cursor AI与Figma的集成，从而编程式地读取和修改设计内容。项目包含TypeScript MCP服务器、Figma插件和WebSocket通信层。配置步骤包括安装bun工具、设置环境、启动服务、安装Figma插件及配置Cursor的mcp.json文件。最后演示了通过自然语言指令让Cursor控制Figma自动排版设计的过程，展现了MCP在AI工具协同工作中的应用价值。

2025-05-28 09:14:33 1153

原创大数据-272 Spark MLib - 基础介绍机器学习算法线性回归

本文介绍了逻辑回归的基本原理、应用场景和在Spark MLlib中的实现。逻辑回归是一种高效二分类算法，广泛应用于广告点击率、垃圾邮件识别等领域。文章详细讲解了逻辑回归的输入函数、Sigmoid激活函数和损失计算方法，并通过糖尿病预测案例演示了如何使用Spark MLlib的LogisticRegressionWithSGD模块进行模型训练与评估。案例代码展示了数据准备、训练测试集划分、模型训练和准确率计算的全流程，最终在测试集上获得了约76.62%的准确率。该实现适用于处理大规模的二分类问题。

2025-05-27 10:20:11 805

原创 AI炼丹日志-21 - MCP 自动操作 Figma+Cursor 实现将原型转换为代码

本文介绍了如何通过Model Context Protocol (MCP)实现Figma设计到代码的自动化转换。主要内容包括：1) MCP协议的基本概念和作用，类似于AI应用程序的标准化接口；2) Figma平台介绍及Token配置步骤；3) 使用pnpx启动Figma开发者MCP插件；4) Cursor编辑器中的MCP配置方法；5) 实际测试案例，展示如何利用该技术栈将Figma设计自动转换为HTML+CSS+JS代码。整个过程涉及MCP服务器搭建、权限配置和跨工具协作，最终实现设计到代码的无缝转换。

2025-05-27 10:05:33 952

原创 AI炼丹日志-20 - MCP 在客户端中使用 Cursor Cline 中配置 MCP 服务

MCP是一种标准化协议，用于连接AI模型与数据源和工具。文章介绍了如何通过Cline插件在Cursor/VSCode中使用MCP协议查询PostgreSQL数据库：1)安装Cline插件并配置OpenAI模型；2)设置MCP服务器，使用npx启动Postgres服务；3)通过Cline界面直接发送查询指令，如"查看poi表结构及数据量"，系统会自动执行SQL并返回结果（示例显示6352条数据）。该方案实现了AI工具与数据库的无缝交互。

2025-05-26 11:42:58 512

原创 AI炼丹日志-19 - MCP FastAPI-MCP 实现自己的MCP服务快速接入API

MCP（Model Context Protocol）是一种标准化大型语言模型(LLM)上下文的开放协议，类似AI应用的"USB-C接口"。文章介绍了将MCP与FastAPI框架结合的实现方法，通过fastapi_mcp库快速搭建SSE服务。内容包括MCP的基本架构（Hosts/Clients/Servers）、两种通信方式（stdio/SSE），以及如何使用FastAPI-MCP快速构建服务端，保留API文档和模式的同时自动转换端点为MCP工具。最后提供了具体安装配置步骤和示例代码，展

2025-05-26 11:36:45 1363

原创 AI炼丹日志-18 - MCP Model Context Protocol 基本项目测试案例

在测试项目中，首先通过uv工具创建并启动了一个名为weather的服务端项目，安装了相关依赖，并编写了一个基于MCP的天气服务端程序。该程序通过MCP工具标识功能，能够根据区域名称或经纬度查询天气警报和预报，并将结果格式化输出。接着，创建了一个名为mcp-client的客户端项目，安装了相关依赖，并编写了一个客户端代码，用于连接到MCP服务器并与AI模型进行交互。

2025-05-22 09:37:07 1493

原创 AI炼丹日志-17 - MCP Model Context Protocol 介绍对比分析基本环境配置

MCP（Model Context Protocol）是一种开放协议，旨在标准化应用程序向大型语言模型（LLM）提供上下文的方式，类似于AI应用程序的USB-C接口。它通过标准化的方式让AI模型连接不同的数据源和工具，包括MCP主机、客户端、服务器、本地数据源和远程服务。MCP帮助在LLM之上构建智能体和复杂工作流，提供预构建集成、灵活切换LLM提供商的能力以及保护数据的最佳实践。与Function Call相比，MCP通过JSON标准描述工具能力，维持对话上下文，增强模型的个性化和记忆能力。应用场景包括智

2025-05-21 11:53:26 1244

原创 AI炼丹日志-16 - Manus 超强智能体 Prompt分析原理分析包含工具列表分析

Manus 是由中国初创公司 Monica.im 于 2025 年推出的全球首款通用型 AI 智能体，旨在实现“知行合一”，不仅具备强大的语言理解和推理能力，还能自主执行复杂任务并交付完整成果。与传统 AI 助手不同，Manus 能够独立完成从任务规划到执行的全过程，如数据分析、代码编写、文档生成等。其应用场景广泛，包括数据分析、市场调研、旅行规划、代码编写等。Manus 的工作原理基于虚拟机、任务规划器、任务执行调度器和多种任务执行代理，通过迭代完成用户任务。其工具列表包括浏览器操作、数据处理等多种功能，

2025-05-21 11:48:01 1346

原创 AI炼丹日志-15 - Manus 超强智能体开源版本 OpenManus 案例与原理深入解析

Manus 是由中国初创公司 Monica.im 于 2025 年推出的全球首款通用型 AI 智能体，旨在实现“知行合一”，不仅具备强大的语言理解和推理能力，还能自主执行复杂任务并交付完整成果。与传统 AI 助手不同，Manus 能够独立完成从任务规划到执行的全过程，如数据分析、代码编写、文档生成等。其核心原理基于 ReACT 和 CodeACT 模式，通过分析任务需求、制定解决方案、分解任务并执行、检查结果并优化，最终返回答案。Manus 的案例测试展示了其在开发贪吃蛇、乒乓球游戏和待办事项列表等任务中的

2025-05-20 15:55:44 1379

原创 AI炼丹日志-14 - Manus 超强智能体开源版本 OpenManus 上手指南

Manus 是由中国初创公司 Monica.im 于 2025 年推出的全球首款通用型 AI 智能体，旨在实现“知行合一”，不仅具备强大的语言理解和推理能力，还能自主执行复杂任务，直接交付完整成果。与传统 AI 助手不同，Manus 能够独立完成从任务规划到执行的全过程，如数据分析、代码编写、文档生成等。其应用场景广泛，包括数据分析、市场调研、旅行规划、代码编写等。Manus 采用多智能体架构，支持异步任务处理，并通过 GAIA 基准测试评估其性能。尽管在任务规划和工具使用方面仍有改进空间，但 Manus

2025-05-20 15:49:47 1465

原创 AI炼丹日志-13 - 从0开始训练GPT 0.25B参数量 MiniMind2 补充训练开销训练步骤知识蒸馏 LoRA等

GPT（Generative Pre-trained Transformer）是一种广泛应用的大语言模型架构，其训练过程包括数据准备、预训练、指令微调、对齐阶段和推理部署。本文详细介绍了GPT的训练流程，并借助MiniMind项目展示了如何训练自己的GPT模型。训练过程涉及数据收集、预处理、模型设计、训练策略、优化技巧及后训练阶段（如微调和对齐）。此外，文章还探讨了LoRA模型在医疗和自我认知场景中的应用，以及推理模型的训练和评估。通过实验，MiniMind2模型展示了训练损失走势，并推荐了相关开源项目供进

2025-05-19 09:05:47 1332

原创 AI炼丹日志-12 - 从0开始训练GPT 0.25B参数量 MiniMind2 补充训练开销训练步骤知识蒸馏 LoRA等

本文系统介绍了GPT大语言模型的训练流程，涵盖从数据准备到推理部署的各个阶段。训练过程主要包括数据准备、预训练、指令微调、对齐阶段和推理部署。预训练阶段通过无监督学习让模型积累知识，指令微调阶段则通过有监督学习使模型适应对话任务。对齐阶段通过人类反馈强化学习（RLHF）或直接偏好优化（DPO）提升模型的回答质量。知识蒸馏（KD）则用于优化模型性能和效率。文章还分享了MiniMind项目的训练经验，展示了低成本训练模型的可行性，并提供了具体的训练步骤和成本估算。

2025-05-19 08:52:15 984

原创 AI炼丹日志-11 - 从0开始训练GPT 0.25B参数量 MiniMind2 准备数据与训练模型 DPO直接偏好优化

本文详细介绍了GPT模型的训练流程，涵盖了从数据准备到推理部署的各个关键阶段。首先，通过下载并预处理数据集（如pretrain_hq、sft_512、sft_2048、dpo等），为模型训练奠定基础。接着，使用双卡进行预训练，训练参数量为104M的模型。随后，分别在sft_512和sft_1024数据集上进行微调训练，并测试模型性能。最后，进行DPO（Direct Preference Optimization）训练，调整batch_size以避免显存溢出。整个流程展示了GPT模型从数据准备到最终部署的完整

2025-05-17 08:41:57 782

空空如也

Git的基本内容介绍

大模型对生活和工作的改变

人工智能时代，程序员如何保持核心竞争力？

关于#Spark# #Flink#的问题，如何解决？