自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

永远好奇,无限进步!

详细的记录各种技术的实践过程 包含但不限 Java/Go/Python/JavaScript 等等,从语言到各种框架,飞轮效应坚信不疑者!保持热情,无限进步!

  • 博客(475)
  • 收藏
  • 关注

原创 大语言模型 00 - Ollama:本地部署大模型的便捷新选择 | 快速安装 & 多卡运行实战

✅ 简单易用✅ 支持 GPU 加速✅ 自动下载模型 & 自动运行✅ 支持多卡并行📦 安装简单:一行命令完成安装📉 低门槛运行:无需复杂环境配置🎯 本地部署:支持多卡并行推理🧰 丰富模型:官方持续更新模型库。

2025-04-23 09:53:34 570

原创 Java-01 深入浅出 MyBatis - MyBatis 概念 ORM映射关系 常见ORM 详细发展历史

MyBatis 是一款优秀的 基于 ORM 的半自动轻量级持久层框架,它支持定制化的 SQL、存储过程以及高级映射,MyBatis 避免了几乎所有 JDBC 代码和手动设置参数以及获取结果集。MyBatis 可以使用简单的 XML 或注解来配置和映射原生类型、接口和 Java 的 POJO(Plain Old Java Objects,普通老式 Java 对象)为数据库记录。

2024-11-15 09:30:50 3541 1

原创 大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece

这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶紧尝试在公网上搭建体验一下。自己写的小工具,防止AutoDL机器过期的。还跑着别的Web服务,所以只能挤出一台 2C2G 的机器。

2024-06-28 09:05:50 4155 4

原创 AI-调查研究-03- 作为程序员 我们的 技术时间投入 与 薪资收入回报 成正比吗?【下篇】

许多技术人面临“能力增长但收入停滞”的困境,核心原因在于:一是行业供需变化,岗位饱和导致经验不再值钱;二是经济下行压缩薪资空间;三是技术方向单一,难以体现差异化价值;四是缺乏管理与业务能力,晋升受限。破解之道包括:发展副业如内容创作、咨询服务等,构建多收入来源;跨界融合管理、业务或垂直行业,突破成长天花板;持续学习新兴技能、跳出舒适区、调整职业策略。唯有主动转型与多元布局,方能在技术积累基础上实现真正的收入跃升。

2025-06-11 09:08:26 405

原创 Java-43 深入浅出 Nginx - 基本配置方式 nginx.conf Events块 HTTP块 反向代理 负载均衡

Nginx 的配置文件结构清晰,主要由三个核心部分组成:全局块、events块和http块。全局块位于配置文件顶部,控制如进程用户、工作进程数、日志路径等全局参数。紧随其后的 events 块负责网络连接处理,如每个 worker 的最大连接数和事件驱动模型(如 epoll)。最重要的 http 块定义了 HTTP 请求处理逻辑,涵盖虚拟主机(server)、路由匹配(location)、负载均衡(upstream)等配置。Nginx 还支持反向代理,将请求转发至如 Tomcat 等后端服务

2025-06-11 09:01:03 760

原创 AI-调查研究-02- 作为程序员 我们的 技术时间投入 与 薪资收入回报 成正比吗?【上篇】

技术投入与收入整体呈正相关,但回报并非无限增长。多数程序员在入行前五年凭技能跃迁获最大涨薪;随后受岗位层级、市场需求及“35岁”偏见等因素影响,边际收益递减,薪资易进入平台期。各国差异明显:美国高端岗位少数人收入极高,分布右偏;中国早期涨幅快,但中年易遇瓶颈;日本奉行资历工资制,曲线平缓但天花板较低。要突破停滞,应在技术深耕的同时布局管理、产品或商业化能力,选择稀缺赛道、拥抱跨领域机会,并主动争取职位晋升或转岗,方能重启收入增长。

2025-06-10 09:45:34 454

原创 Java-42 深入浅出 Nginx - 缘起与发展 场景与配置快速上手

Nginx(“engine-x”)自2004年诞生以来,凭借事件驱动和非阻塞I/O架构,成功解决Apache高并发瓶颈,成为现代高性能Web服务器的代表。其“Master + Worker”多进程模型具备低内存、高并发、热重载优势,支持静态服务、反向代理、负载均衡、缓存、限流等多功能。历经Nginx Inc. 商业化及F5收购,生态持续壮大。最新版1.28.0引入QUIC优化、主机名动态解析等特性。常见于API网关、K8s Ingress、边缘缓存、直播系统等多协议统一入口场景,广泛服务于现代互联网架构中。

2025-06-10 09:30:04 502

原创 AI-调查研究-01-正念冥想有用吗?对健康的影响及科学指南

正念冥想是一种科学验证有效的身心调节方法,广泛适用于普通人群、运动者、老年人等多类人群。研究表明,它能降低焦虑、抑郁和压力水平,改善睡眠质量,增强免疫功能,提升认知能力,甚至引发大脑结构的积极变化。每日10~30分钟的练习已能带来显著效果,推荐如呼吸觉察、身体扫描等简单易行的方法。长期坚持冥想,不仅有助于心理稳定和情绪调节,也能与运动、饮食、心理治疗等健康习惯形成协同,成为现代人减压养生的重要方式。

2025-06-09 09:46:37 482

原创 Java-41 深入浅出 Spring - 声明式事务的支持 事务配置 XML模式 XML+注解模式

Spring事务配置可通过三种方式实现:纯XML配置、XML+注解混合、纯注解方式。在纯XML配置中,通过引入 spring-context、spring-jdbc、spring-tx 等依赖,并结合 <tx:advice> 和 <aop:advisor> 标签完成事务增强配置,常用于老项目中。XML+注解方式则在XML中配置事务管理器并开启注解支持,通过 @Transactional 注解在业务方法中灵活控制事务行为。纯注解方式则完全摆脱XML,利用 @EnableTransactionManagemen

2025-06-09 09:24:01 429

原创 Java-40 深入浅出 Spring - 声明式事务的支持 事务控制 事务概念 四大特性 隔离级别

本文介绍了编程式事务与声明式事务的概念,重点解析了事务的四大特性(原子性、一致性、隔离性、持久性)和四种隔离级别(串行化、可重复读、读已提交、读未提交)。文章还展示了Spring事务管理的核心API——PlatformTransactionManager接口,说明其作为事务管理策略标准的作用,并指出Spring通过DataSourceTransactionManager等实现类提供具体的事务支持。最后强调声明式事务通过AOP将事务控制逻辑织入业务代码的实现方式。全文从理论基础到技术实现,系统性地讲解了事务管

2025-06-05 10:40:54 986

原创 Java-39 深入浅出 Spring - AOP切面增强 核心概念 通知类型 XML+注解方式 附代码

本节内容继续讲解 Spring AOP 的实现方式,重点介绍了四种常见的通知类型:前置通知(aop:before)、异常通知(aop:after-throwing)、最终通知(aop:after)和环绕通知(aop:around),分别说明了它们的配置方式、执行时机和可获取的信息。随后展示了如何结合注解方式实现 AOP,包括使用 @Aspect、@Before、@AfterThrowing、@After、@Around 等注解进行切面开发,并通过 @EnableAspectJAutoProxy 启用注解驱动

2025-06-05 10:32:23 1169

原创 AI炼丹日志-28 - Audiblez 将你的电子书epub转换为音频mp3 做有声书

🚀 Audiblez:一键将电子书转换为有声书 借助Kokoro-82M高质量语音合成技术,Audiblez可将.epub电子书快速转为.m4b有声书,支持中英日等8种语言。核心功能包括多语言语音选择、语速调节及GPU加速(T4 GPU转换16万字仅需5分钟)。提供命令行与GUI两种操作方式,兼容macOS/Windows/Linux。 环境配置:Mac/Ubuntu需安装ffmpeg和espeak-ng,通过pip install audiblez即可使用。中文用户注意:当前版本可能存在长段落截断问题,

2025-06-04 09:37:24 1109

原创 大数据-278 Spark MLib - 基础介绍 机器学习算法 梯度提升树 GBDT案例 详解

GBDT 案例实战,手把手带你完成从残差计算到回归树构建与迭代训练的全过程,结合图示详细解析,最终预测精准输出!👉 点个关注,不迷路!后续还将持续更新更多大模型+数据智能+工程实战内容,敬请期待!GBDT 是一种集成学习方法,全称为 梯度提升决策树(Gradient Boosting Decision Tree),属于 Boosting 家族的模型。它通过多个弱学习器(通常是决策树)逐步叠加,不断优化前一次模型的预测误差,从而形成一个强学习器,常用于分类、回归等任务。

2025-06-04 09:20:46 1824

原创 大数据-277 Spark MLib - 基础介绍 机器学习算法 Gradient Boosting GBDT算法原理 高效实现

本文介绍了梯度提升树(GBDT)算法的原理与应用。首先通过通俗例子说明提升树的基本思想,然后详细解析算法流程,包括负梯度计算、回归树拟合和模型更新等关键步骤。文章比较了GBDT与传统提升树的区别,并阐述了GBDT在回归和分类问题中的优势。此外,还介绍了XGBoost、LightGBM等高效实现及其特性,分析了GBDT的适用场景和局限性。最后提供了使用XGBoost分类器的代码示例。全文深入浅出地讲解了这一重要的机器学习算法。

2025-06-03 09:13:03 1064

原创 大数据-276 Spark MLib - 基础介绍 机器学习算法 Bagging和Boosting区别 GBDT梯度提升树

本文介绍了机器学习中Bagging与Boosting的区别,以及GBDT(梯度提升决策树)算法原理。主要内容包括:1)Bagging和Boosting在数据采样、投票方式、学习顺序和应用场景上的差异;2)GBDT的基本概念和使用CART回归树的原因;3)回归决策树的构建流程,包括最优切分点选择、区域划分和输出值计算;4)通过具体案例演示回归树的生成过程,包括损失函数计算和递归划分策略。文章对理解集成学习和决策树算法具有实用参考价值。

2025-06-03 09:04:26 888

原创 大数据-275 Spark MLib - 基础介绍 机器学习算法 集成学习 随机森林 Bagging Boosting

本文系统介绍了机器学习中的集成学习方法。主要内容包括:1)集成学习的基本定义与分类,通过结合多个模型提升预测性能;2)Bagging方法原理及应用,重点讲解随机森林的实现过程;3)Boosting方法的核心思想,包括Adaboost等算法的逐步增强机制。文章通过图示直观展示了不同集成学习技术的运作流程,比较了它们在解决欠拟合和过拟合问题上的作用。整体而言,集成学习方法能够显著提升模型性能,是机器学习领域的重要技术。

2025-06-02 11:07:21 528

原创 AI炼丹日志-27 - Anubis 通过 PoW工作量证明的反爬虫组件 上手指南 原理解析

Anubis 采用类似于区块链挖矿的机制 —— Proof-of-Work(工作量证明),通过要求访问者在请求前完成一定的计算任务,来有效阻止自动化爬虫脚本对网站内容的抓取。对人类用户几乎无感,但会显著增加爬虫成本和请求延迟。Anubis 使用工作量证明(Proof of Work)机制来验证客户端是否为真实用户。其灵感来源于 Hashcash,这是 2000 年代初提出的一种方案,旨在通过扩展电子邮件协议来防止垃圾邮件。

2025-06-01 09:54:01 815

原创 AI炼丹日志-26 - crawl4ai 专为 AI 打造的爬虫爬取库 上手指南

Crawl4AI是一个开源的网页爬取工具,专为AI应用优化,提供高效的数据提取和Markdown格式化功能。该项目已在GitHub上成为热门趋势库,支持LLM(大语言模型)的RAG应用和微调。主要特点包括:6倍速度提升、智能提取算法、灵活部署(支持Docker)和活跃社区维护。安装简单,可通过pip或Docker快速配置。创始人因不满现有付费爬虫工具而开发,强调数据民主化和开源精神。适用于实时数据处理、AI代理开发等场景,包含丰富的文档和教程资源。

2025-05-31 09:29:20 1520

原创 AI炼丹日志-25 - OpenAI 开源的编码助手 Codex 上手指南

本文将介绍OpenAI开源的Codex编码助手,一个终端运行的轻量级AI编程工具。内容涵盖:1)工具特点:零配置、全自动审批、多模态支持;2)环境配置要求:推荐Node.js 22+版本;3)安装使用步骤:包括API密钥设置和测试示例;4)配置文件说明:如config.json和instructions.md的配置方法。该工具结合了ChatGPT的推理能力与代码执行功能,支持多种AI模型,可显著提升开发效率。目前项目完全开源,适合开发者直接使用或参与贡献。

2025-05-31 08:59:14 1149

原创 AI炼丹日志-24 - MCP 自动操作 提高模型上下文能力 Cursor + Sequential Thinking Server Memory

本文介绍了两种提升AI模型开发效率的解决方案:Sequential Thinking和Server Memory。Sequential Thinking将复杂任务拆分为可管理的小步骤,逐步解决;Server Memory则通过缓存关键信息,确保模型在多轮交互中保持上下文连贯。文章提供了这两个工具的具体配置方法(基于MCP框架)和使用示例,展示了如何通过分步思考和记忆机制来应对AI开发中的"遗忘"问题,从而提高代码生成和需求分析的准确性与连贯性。这两种方法可以单独或组合使用,有效优化AI辅

2025-05-30 09:34:02 979

原创 AI炼丹日志-23 - MCP 自动操作 自动进行联网检索 扩展MCP能力

摘要: Model Context Protocol (MCP)是一种标准化AI模型连接数据源的开放协议,类似USB-C接口。其架构包含主机、客户端、服务器及本地/远程数据源。本文以Cursor AI工具为例,演示MCP的实际应用:通过时间服务解决模型时效性问题,利用Exa.ai实现联网搜索功能。测试显示,结合时间验证可显著提升搜索结果的时效性,OpenAI最新进展的检索结果从泛泛而谈改进为包含具体日期(如2025年3-4月)的精准信息。MCP有效增强了AI模型获取外部数据的能力。

2025-05-30 08:52:26 550

原创 大数据-274 Spark MLib - 基础介绍 机器学习算法 剪枝 后剪枝 ID3 C4.5 CART

《决策树算法解析与实践》文章摘要:本文系统介绍了决策树的预剪枝与后剪枝原理,对比了ID3、C4.5和CART三种主流算法的核心差异,包括分裂标准、属性支持类型和剪枝方法。重点阐述了信息增益、信息增益率与基尼系数的计算原理,详细讲解了从树生成到剪枝的完整流程,并通过Spark MLlib中的Scala代码实例演示了决策树分类器的实现过程。文中还包含清晰的算法对比图表和技术要点总结,为读者提供了从理论到实践的完整决策树学习路径。

2025-05-29 10:31:31 1163

原创 大数据-273 Spark MLib - 基础介绍 机器学习算法 决策树 分类原则 分类原理 基尼系数 熵

本文介绍了决策树的基本概念、分类原则和分类原理。决策树是一种非线性有监督分类模型,通过树形结构进行属性判断和分类。分类时应选择能将数据分类更纯粹的节点作为根节点,减少树高和训练次数。分类原理涉及熵、条件熵、信息增益等概念:熵衡量信息混乱程度,信息增益反映分类前后熵的变化,基尼系数也可表示样本混乱程度。为避免过拟合,可采用信息增益率(C4.5算法)来选择分类条件。文章通过天气预测车祸案例,直观展示了不同属性作为根节点时的决策树差异。

2025-05-28 09:26:37 1690

原创 AI炼丹日志-22 - MCP 自动操作 Figma+Cursor 自动设计原型

本文介绍了如何通过MCP实现Cursor AI与Figma的集成,从而编程式地读取和修改设计内容。项目包含TypeScript MCP服务器、Figma插件和WebSocket通信层。配置步骤包括安装bun工具、设置环境、启动服务、安装Figma插件及配置Cursor的mcp.json文件。最后演示了通过自然语言指令让Cursor控制Figma自动排版设计的过程,展现了MCP在AI工具协同工作中的应用价值。

2025-05-28 09:14:33 1153

原创 大数据-272 Spark MLib - 基础介绍 机器学习算法 线性回归

本文介绍了逻辑回归的基本原理、应用场景和在Spark MLlib中的实现。逻辑回归是一种高效二分类算法,广泛应用于广告点击率、垃圾邮件识别等领域。文章详细讲解了逻辑回归的输入函数、Sigmoid激活函数和损失计算方法,并通过糖尿病预测案例演示了如何使用Spark MLlib的LogisticRegressionWithSGD模块进行模型训练与评估。案例代码展示了数据准备、训练测试集划分、模型训练和准确率计算的全流程,最终在测试集上获得了约76.62%的准确率。该实现适用于处理大规模的二分类问题。

2025-05-27 10:20:11 805

原创 AI炼丹日志-21 - MCP 自动操作 Figma+Cursor 实现将原型转换为代码

本文介绍了如何通过Model Context Protocol (MCP)实现Figma设计到代码的自动化转换。主要内容包括:1) MCP协议的基本概念和作用,类似于AI应用程序的标准化接口;2) Figma平台介绍及Token配置步骤;3) 使用pnpx启动Figma开发者MCP插件;4) Cursor编辑器中的MCP配置方法;5) 实际测试案例,展示如何利用该技术栈将Figma设计自动转换为HTML+CSS+JS代码。整个过程涉及MCP服务器搭建、权限配置和跨工具协作,最终实现设计到代码的无缝转换。

2025-05-27 10:05:33 952

原创 AI炼丹日志-20 - MCP 在客户端中使用 Cursor Cline 中配置 MCP 服务

MCP是一种标准化协议,用于连接AI模型与数据源和工具。文章介绍了如何通过Cline插件在Cursor/VSCode中使用MCP协议查询PostgreSQL数据库:1)安装Cline插件并配置OpenAI模型;2)设置MCP服务器,使用npx启动Postgres服务;3)通过Cline界面直接发送查询指令,如"查看poi表结构及数据量",系统会自动执行SQL并返回结果(示例显示6352条数据)。该方案实现了AI工具与数据库的无缝交互。

2025-05-26 11:42:58 512

原创 AI炼丹日志-19 - MCP FastAPI-MCP 实现自己的MCP服务 快速接入API

MCP(Model Context Protocol)是一种标准化大型语言模型(LLM)上下文的开放协议,类似AI应用的"USB-C接口"。文章介绍了将MCP与FastAPI框架结合的实现方法,通过fastapi_mcp库快速搭建SSE服务。内容包括MCP的基本架构(Hosts/Clients/Servers)、两种通信方式(stdio/SSE),以及如何使用FastAPI-MCP快速构建服务端,保留API文档和模式的同时自动转换端点为MCP工具。最后提供了具体安装配置步骤和示例代码,展

2025-05-26 11:36:45 1362

原创 AI炼丹日志-18 - MCP Model Context Protocol 基本项目 测试案例

在测试项目中,首先通过uv工具创建并启动了一个名为weather的服务端项目,安装了相关依赖,并编写了一个基于MCP的天气服务端程序。该程序通过MCP工具标识功能,能够根据区域名称或经纬度查询天气警报和预报,并将结果格式化输出。接着,创建了一个名为mcp-client的客户端项目,安装了相关依赖,并编写了一个客户端代码,用于连接到MCP服务器并与AI模型进行交互。

2025-05-22 09:37:07 1492

原创 AI炼丹日志-17 - MCP Model Context Protocol 介绍对比分析 基本环境配置

MCP(Model Context Protocol)是一种开放协议,旨在标准化应用程序向大型语言模型(LLM)提供上下文的方式,类似于AI应用程序的USB-C接口。它通过标准化的方式让AI模型连接不同的数据源和工具,包括MCP主机、客户端、服务器、本地数据源和远程服务。MCP帮助在LLM之上构建智能体和复杂工作流,提供预构建集成、灵活切换LLM提供商的能力以及保护数据的最佳实践。与Function Call相比,MCP通过JSON标准描述工具能力,维持对话上下文,增强模型的个性化和记忆能力。应用场景包括智

2025-05-21 11:53:26 1244

原创 AI炼丹日志-16 - Manus 超强智能体 Prompt分析 原理分析 包含工具列表分析

Manus 是由中国初创公司 Monica.im 于 2025 年推出的全球首款通用型 AI 智能体,旨在实现“知行合一”,不仅具备强大的语言理解和推理能力,还能自主执行复杂任务并交付完整成果。与传统 AI 助手不同,Manus 能够独立完成从任务规划到执行的全过程,如数据分析、代码编写、文档生成等。其应用场景广泛,包括数据分析、市场调研、旅行规划、代码编写等。Manus 的工作原理基于虚拟机、任务规划器、任务执行调度器和多种任务执行代理,通过迭代完成用户任务。其工具列表包括浏览器操作、数据处理等多种功能,

2025-05-21 11:48:01 1346

原创 AI炼丹日志-15 - Manus 超强智能体 开源版本 OpenManus 案例与原理深入解析

Manus 是由中国初创公司 Monica.im 于 2025 年推出的全球首款通用型 AI 智能体,旨在实现“知行合一”,不仅具备强大的语言理解和推理能力,还能自主执行复杂任务并交付完整成果。与传统 AI 助手不同,Manus 能够独立完成从任务规划到执行的全过程,如数据分析、代码编写、文档生成等。其核心原理基于 ReACT 和 CodeACT 模式,通过分析任务需求、制定解决方案、分解任务并执行、检查结果并优化,最终返回答案。Manus 的案例测试展示了其在开发贪吃蛇、乒乓球游戏和待办事项列表等任务中的

2025-05-20 15:55:44 1378

原创 AI炼丹日志-14 - Manus 超强智能体 开源版本 OpenManus 上手指南

Manus 是由中国初创公司 Monica.im 于 2025 年推出的全球首款通用型 AI 智能体,旨在实现“知行合一”,不仅具备强大的语言理解和推理能力,还能自主执行复杂任务,直接交付完整成果。与传统 AI 助手不同,Manus 能够独立完成从任务规划到执行的全过程,如数据分析、代码编写、文档生成等。其应用场景广泛,包括数据分析、市场调研、旅行规划、代码编写等。Manus 采用多智能体架构,支持异步任务处理,并通过 GAIA 基准测试评估其性能。尽管在任务规划和工具使用方面仍有改进空间,但 Manus

2025-05-20 15:49:47 1465

原创 AI炼丹日志-13 - 从0开始训练GPT 0.25B参数量 MiniMind2 补充 训练开销 训练步骤 知识蒸馏 LoRA等

GPT(Generative Pre-trained Transformer)是一种广泛应用的大语言模型架构,其训练过程包括数据准备、预训练、指令微调、对齐阶段和推理部署。本文详细介绍了GPT的训练流程,并借助MiniMind项目展示了如何训练自己的GPT模型。训练过程涉及数据收集、预处理、模型设计、训练策略、优化技巧及后训练阶段(如微调和对齐)。此外,文章还探讨了LoRA模型在医疗和自我认知场景中的应用,以及推理模型的训练和评估。通过实验,MiniMind2模型展示了训练损失走势,并推荐了相关开源项目供进

2025-05-19 09:05:47 1332

原创 AI炼丹日志-12 - 从0开始训练GPT 0.25B参数量 MiniMind2 补充 训练开销 训练步骤 知识蒸馏 LoRA等

本文系统介绍了GPT大语言模型的训练流程,涵盖从数据准备到推理部署的各个阶段。训练过程主要包括数据准备、预训练、指令微调、对齐阶段和推理部署。预训练阶段通过无监督学习让模型积累知识,指令微调阶段则通过有监督学习使模型适应对话任务。对齐阶段通过人类反馈强化学习(RLHF)或直接偏好优化(DPO)提升模型的回答质量。知识蒸馏(KD)则用于优化模型性能和效率。文章还分享了MiniMind项目的训练经验,展示了低成本训练模型的可行性,并提供了具体的训练步骤和成本估算。

2025-05-19 08:52:15 984

原创 AI炼丹日志-11 - 从0开始训练GPT 0.25B参数量 MiniMind2 准备数据与训练模型 DPO直接偏好优化

本文详细介绍了GPT模型的训练流程,涵盖了从数据准备到推理部署的各个关键阶段。首先,通过下载并预处理数据集(如pretrain_hq、sft_512、sft_2048、dpo等),为模型训练奠定基础。接着,使用双卡进行预训练,训练参数量为104M的模型。随后,分别在sft_512和sft_1024数据集上进行微调训练,并测试模型性能。最后,进行DPO(Direct Preference Optimization)训练,调整batch_size以避免显存溢出。整个流程展示了GPT模型从数据准备到最终部署的完整

2025-05-17 08:41:57 782

原创 AI炼丹日志-10 - 从0开始训练GPT 0.25B参数量 补充知识之模型架构 MoE、ReLU、FFN、MixFFN

本文系统介绍了GPT模型的训练流程,涵盖数据准备、预训练、指令微调、对齐阶段及推理部署等关键步骤。文章详细探讨了GPT的模型架构,特别是Decoder-Only Transformer结构,并对比了不同激活函数(如ReLU与SwiGLU)和归一化方法(如RMSNorm)的性能。此外,还介绍了MoE(混合专家)和MixFFN(混合前馈网络)等先进技术,这些技术通过参数稀疏化和局部感知能力提升模型效率。文章最后总结了这些技术如何共同推动语言生成模型的推理效率和训练稳定性。

2025-05-16 13:22:00 765

原创 AI炼丹日志-09 - 从0开始训练GPT 0.25B参数量 补充知识之数据集 Pretrain SFT RLHF

本文详细介绍了GPT模型的训练流程,包括数据准备、预训练、指令微调、对齐阶段和推理部署等关键步骤。文章特别强调了数据质量的重要性,并提供了多种数据集的详细描述和下载链接,如预训练数据集pretrain_hq.jsonl和微调数据集sft_mini_512.jsonl。此外,文章还讨论了分词器的选择及其对模型性能的影响,推荐使用自定义的轻量级分词器以优化模型参数。整体而言,本文为理解和实施GPT模型的训练提供了全面的指导。

2025-05-16 11:34:50 1061

原创 AI炼丹日志-08 - 从0开始训练GPT 0.25B参数量 - MiniMind 单机多卡 torchrun deepspeed

本文系统介绍了GPT模型的训练流程,涵盖数据准备、预训练、指令微调、对齐阶段及推理部署等关键环节。数据收集与预处理包括海量文本的清洗、分词等步骤,预训练阶段通过无监督学习捕捉广泛知识。文章还详细讲解了单机多卡训练工具如torchrun和DeepSpeed的使用方法,并介绍了机器学习实验管理平台wandb的功能与配置。最后,通过实际案例展示了如何使用torchrun和wandb进行预训练和监督微调,显著提升了训练效率。

2025-05-15 15:52:18 1234

原创 AI炼丹日志-07 - 从0开始训练GPT 0.25B参数量 - MiniMind 实机训练 预训练 监督微调

本文详细介绍了GPT模型的训练流程,包括数据准备、预训练、指令微调、对齐阶段和推理部署等关键步骤。通过MiniMind项目,展示了单卡训练的具体操作,如预训练和监督微调的执行过程,并提供了相应的代码示例和输出结果。文章还探讨了如何通过GPU监控训练状态,并展示了不同模型(如预训练模型和SFT-Chat模型)的测试效果,证明了监督微调对提升模型回答质量的有效性。整体而言,本文为理解和实施GPT模型的训练提供了全面的指导。

2025-05-15 15:39:13 494

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除