![](https://i-blog.csdnimg.cn/direct/b459e319f83343f0bdda06565a107823.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大模型微调部署实战及类GPT工具的高效使用
![](https://csdnimg.cn/release/blogv2/dist/pc/img/columnHotIcon1.png)
文章平均质量分 92
对大模型微调、部署、调优和类GPT工具使用进行详尽的介绍。为了回报粉丝,近期更新频率为一周至少两篇文章。订阅量超过730后,将涨价到79.9。购买专栏的同学可私信加群。
优惠券已抵扣
余额抵扣
还需支付
¥69.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
herosunly
985院校硕士毕业,现担任算法研究员一职,热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委,编写微软OpenAI考试认证指导手册。曾获得多项AI顶级比赛的Top名次,其中包括阿里云天池安全恶意程序检测第一名,科大讯飞恶意软件分类挑战赛第三名,CCF恶意软件家族分类第四名,科大讯飞阿尔茨海默综合症预测挑战赛第四名,科大讯飞事件抽取挑战赛第七名,Datacon大数据安全分析比赛第五名。授权多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。
展开
-
详解大模型微调数据集构建方法(持续更新)
本文详细介绍了大模型微调数据集构建方法,希望能对学习大模型的同学们有所帮助。文章目录1. 前言2. 微调数据集构建方法 2.1 方法一 2.2 方法二 2.3 方法三 2.4 方法四原创 2024-06-05 07:30:00 · 67265 阅读 · 47 评论 -
大模型LoRA微调调参的实战技巧(持续更新)
本文主要介绍了大模型LoRA微调调参的实战技巧,希望对学习大语言模型的同学们有所帮助。文章目录1. 前言2. 实战技巧原创 2024-05-01 12:08:15 · 56001 阅读 · 57 评论 -
LLaMA Factory单机微调的实战教程
本文主要介绍了使用LLaMA Factory对大模型进行单机微调的实战教程,希望对学习大语言模型的同学们有所帮助。文章目录1. 前言2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调原创 2024-04-24 22:28:51 · 64598 阅读 · 36 评论 -
基于大模型的Text2SQL微调的实战教程(二)
本文主要介绍了基于大模型的Text2SQL微调的实战教程(二),希望对学习大语言模型的同学们有所帮助。文章目录1. 前言2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件3. 运行代码 3.1 数据预处理 3.2 修改配置文件 3.3 微调原创 2024-04-23 16:15:02 · 65814 阅读 · 52 评论 -
huggingface高速下载模型的实战代码
本文主要介绍了huggingface高速下载模型的实战代码,尤其是无法通过国内源进行下载的huggingface模型,希望能对学习大模型的同学们有所帮助。需要特别说明的是,本文的代码是完全原创的,即能够最大限度利用宽度的速度,而且还能实现断点续传。文章目录1. 背景2. 实战代码原创 2024-01-27 11:15:05 · 138068 阅读 · 52 评论 -
LLaMA Factory多卡微调的实战教程(持续更新)
本文主要介绍了LLaMA Factory多卡微调的实战教程(持续更新),希望对学习大语言模型的同学们有所帮助。文章目录1. 前言2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调 3.3.1 zero3微调 3.3.2 启动API 3.3.3 模型测试原创 2024-06-12 21:30:30 · 54332 阅读 · 15 评论 -
大模型微调和RAG的应用场景
本文主要介绍了大模型微调和RAG的应用场景,希望对学习大语言模型的同学们有所帮助。文章目录1. 前言2. 大模型微调 vs. RAG原创 2024-06-19 22:56:48 · 41496 阅读 · 29 评论 -
使用工作流产生高质量翻译内容的实战教程
本文主要介绍了使用工作流产生高质量翻译内容的实战教程,希望对使用大语言模型的同学们有所帮助。文章目录1. 前言2. 思路分析3. 实战教程原创 2024-07-22 07:00:00 · 1602 阅读 · 12 评论 -
通过命令行工作流提升工作效率的实战教程(持续更新)
本文主要介绍了通过命令行工作流提升工作效率的实战教程,希望对使用大语言模型的同学们有所帮助。文章目录1. 前言2. 配置环境 2.1 可选步骤一 2.2 步骤二 2.3 步骤三3. 实战案例原创 2024-07-16 23:17:19 · 11080 阅读 · 31 评论 -
大模型提问中包括时间的实战方案
本文主要介绍了大模型提问中包括时间的实战方案,希望对学习大语言模型的同学们有所帮助。文章目录1. 前言2. 实战方案原创 2024-07-04 23:02:15 · 20737 阅读 · 18 评论 -
大模型微调出错的解决方案(持续更新)
本文主要介绍了大模型微调出错的解决方案(持续更新),希望对学习大语言模型的同学们有所帮助。文章目录1. 前言2. 解决方案 2.1 大模型环境配置问题 2.2 实时观测GPU变化 2.3 微调卡住不动原创 2024-06-13 20:00:00 · 51534 阅读 · 32 评论 -
Text2SQL中不同数据库SQL之间转换的实战代码
本文主要介绍了Text2SQL中不同数据库SQL之间转换的实战代码,希望对学习大语言模型的同学们有所帮助。文章目录1. 前言2. SQL转换实战代码原创 2024-06-27 18:08:19 · 30225 阅读 · 21 评论 -
Text2SQL基座模型选择的实战教程(持续更新)
本文主要介绍了Text2SQL基座模型选择的实战教程(持续更新),希望对学习大语言模型的同学们有所帮助。文章目录1. 前言2. Text2SQL基座模型的发展史3. 模型选择实战 3.1 prompt模板 3.2 下载模型与部署API 3.3 实战代码4. 补充说明原创 2024-06-21 17:54:11 · 39403 阅读 · 32 评论 -
Text2SQL中反思纠错的实战方案
本文主要介绍了Text2SQL中反思纠错的实战方案,希望对学习大语言模型的同学们有所帮助。文章目录1. 前言2. 反思纠错的实战方案原创 2024-06-29 12:12:59 · 28266 阅读 · 40 评论 -
Text2SQL提问中包括时间的实战方案
本文主要介绍了Text2SQL提问中包括时间的实战方案,希望对学习大语言模型的同学们有所帮助。文章目录1. 前言2. 实战方案原创 2024-07-07 17:46:33 · 17830 阅读 · 20 评论 -
大模型微调选择模型的实战技巧(持续更新)
本文主要介绍了大模型微调选择模型的实战技巧(持续更新),希望对学习大语言模型的同学们有所帮助。文章目录1. 前言2. 实战技巧原创 2024-07-11 20:00:00 · 11872 阅读 · 18 评论 -
探寻大模型回答9.9和9.11犯错的根本原因
本文主要介绍了探寻大模型回答9.9和9.11犯错的根本原因,希望对使用大语言模型的同学们有所帮助。文章目录1. 前言2. 分析与思考原创 2024-07-18 19:30:00 · 5533 阅读 · 34 评论 -
Qwen2本地部署的实战教程
本文主要介绍了Qwen2本地部署的实战教程,希望对学习大语言模型的同学们有所帮助。文章目录1. 介绍2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件4. 运行Qwen2-7B-Instruct原创 2024-06-07 11:11:56 · 63465 阅读 · 42 评论 -
GLM-4本地部署的实战教程
本文主要介绍了GLM-4-9B本地部署的实战教程,希望对学习和使用大模型的同学们有所帮助。文章目录1. 前言2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件3. 运行glm-4-9b-chat原创 2024-06-05 18:00:22 · 65775 阅读 · 47 评论 -
从System Prompt来看Claude3、Kimi和ChatGLM4之间的差距
本文主要介绍了从System Prompt来看Claude3、Kimi和ChatGLM4之间的差距,希望能对学习大模型的同学们有所帮助。文章目录1. 前言2. System Prompt 2.1 Claude3 2.2 Kimi 2.3 ChatGLM4原创 2024-05-29 22:15:41 · 72211 阅读 · 51 评论 -
从System Prompt来看GPT-3.5到GPT-4的进化
本文主要介绍了从System Prompt来看GPT-3.5到GPT-4的进化之路,希望能对学习大模型的同学们有所帮助。文章目录1. 前言2. System Prompt 2.1 GPT-3.5 2.2 GPT-4o 2.3 GPT-3.5到GPT-4的进化之路原创 2024-05-23 07:30:00 · 15679 阅读 · 32 评论 -
部署大模型API的实战教程
今天给大家带来的文章是部署大模型API的实战教程,希望能对学习大模型的同学们有所帮助。文章目录1. 前言2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库3. 运行代码 3.1 修改文件 3.2 运行API 3.3 测试API原创 2024-01-17 07:30:00 · 61956 阅读 · 26 评论 -
Lora Adapter可视化的实战教程
本文主要介绍了Lora Adapter可视化的实战教程,希望对学习大语言模型的同学们有所帮助。文章目录1. 前言2. 可视化 2.1 示例一 2.2 示例二原创 2024-05-18 11:08:28 · 22674 阅读 · 32 评论 -
GPT-4o模型介绍和使用方法
本文主要讲解了GPT-4o模型介绍和使用方法,希望对学习和使用大模型的同学们有所帮助。文章目录1. 前言2. GPT-4o模型介绍3. GPT-4o使用方法原创 2024-05-15 15:47:49 · 23889 阅读 · 44 评论 -
国内智能搜索工具实战教程
本文主要介绍了国内智能搜索工具实战教程,希望对学习和使用智能搜索工具的同学们有所帮助。文章目录1. 前言2. 国内智能搜索工具一3. 国内智能搜索工具二原创 2024-05-12 17:34:35 · 88838 阅读 · 36 评论 -
判断大模型微调是否产生灾难性遗忘的实战方案
本文主要介绍了判断大模型微调是否产生灾难性遗忘的实战方案,希望对学习大语言模型的同学们有所帮助。文章目录1. 前言2. 实战方案 2.1 收集数据 2.2 实战测试原创 2024-05-10 22:36:51 · 88448 阅读 · 21 评论 -
AIGC提示(prompt)飞升方法:走向专家之路
本文主要介绍了AIGC提示(prompt)飞升方法:走向专家之路,希望对学习大语言模型的同学们有所帮助。文章目录1. 前言2. prompt使用方法 2.1 进阶方法一 2.2 进阶方法二 2.3 进阶方法三 2.4 进阶方法四 2.5 进阶方法五 2.6 进阶方法六 2.7 进阶方法七 2.8 进阶方法八 2.9 进阶方法九原创 2024-05-09 08:15:00 · 81564 阅读 · 21 评论 -
模型全参数训练和LoRA微调所需显存的分析
本文介绍模型全参数训练和LoRA微调所需显存的分析,希望对学习和使用大模型的同学们有所帮助。文章目录1. 前言2. 全参数训练3. LoRA微调原创 2024-05-05 21:16:40 · 61665 阅读 · 17 评论 -
FP16、BF16、INT8、INT4精度模型加载所需显存以及硬件适配的分析
本文主要介绍了FP16、INT8、INT4精度模型加载占用显存大小的分析,希望对学习大语言模型的同学们有所帮助。文章目录1. 前言2. 模型加载显存占用大小3. 不同精度是否与硬件适配原创 2024-05-03 16:53:07 · 65497 阅读 · 31 评论 -
LLaMA Factory在预测阶段时添加原有问题的实战代码
本文主要介绍了LLaMA-Factory在预测阶段时添加原有问题的实战代码,希望对使用LLaMA-Factory的同学们有所帮助。文章目录1. 前言2. 实战代码原创 2024-05-02 07:30:00 · 54005 阅读 · 35 评论 -
LLaMA Factory多卡微调的实战教程
本文主要介绍了LLaMA Factory多卡微调的实战教程,希望对学习大语言模型的同学们有所帮助。文章目录1. 前言2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调 3.3.1 zero3微调 3.3.2 启动API 3.3.3 模型测试原创 2024-04-25 20:21:38 · 64817 阅读 · 29 评论 -
AIGC高效进行网页总结的工具使用
本文主要介绍了AIGC高效进行网页总结的工具使用,希望能对学习大模型的同学们有所帮助。文章目录1. 前言2. 工具一3. 工具二原创 2024-04-16 21:30:00 · 72997 阅读 · 21 评论 -
详解FastChat部署大模型API的实战教程
本文主要介绍了使用FastChat部署大模型API,希望对学习大语言模型的同学们有所帮助。文章目录1. 前言2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型文件下载3. 运行API 3.1 一键启动 3.2 一键关闭 3.3 测试API4. vllm API 4.1 一键启动 4.2 一键关闭 4.3 测试API原创 2024-04-27 21:43:35 · 60593 阅读 · 30 评论 -
Llama3本地部署的解决方案
本文主要介绍了Llama3本地部署的解决方案,希望对学习大语言模型的同学们有所帮助。文章目录1. 前言2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件3. 运行代码 3.1 修改文件 3.2 运行API 3.3 运行聊天界面 3.4 Python调用API 3.4.1 单轮对话 3.4.2 多轮对话原创 2024-04-23 10:54:49 · 66265 阅读 · 31 评论 -
多图详解LLaMA 3的使用方法和进化之路
LLaMA 3是Meta AI在2024年4月18日发布的最新开源模型家族。其中已发布的是8B和70B的base和instruct版本。未来将会发布400B参数量、多语言、多模态、长上下文等不同的大模型。那么如何使用LLaMA 3呢?简单来说,可分为两种方式:在线使用和本地部署。原创 2024-04-21 12:26:31 · 69839 阅读 · 23 评论 -
最强中文开源模型Command R+的在线使用和本地部署的解决方案
本文主要介绍了最强中文开源模型Command R+的本地部署和在线使用的解决方案,希望对学习大语言模型的同学们有所帮助。文章目录1. 前言2. 在线使用3. 本地部署原创 2024-04-20 08:00:00 · 70500 阅读 · 71 评论 -
大模型生成人物关系思维导图的实战教程
本文主要介绍了大模型生成人物关系思维导图的实战教程,希望对使用大语言模型的同学们有所帮助。文章目录1. 前言2. 实战教程原创 2024-07-13 09:26:53 · 10371 阅读 · 12 评论 -
Meta大佬亲授LLaMA 3的奥秘
本文主要介绍了Meta大佬亲授LLaMA 3的奥秘,希望对学习大语言模型的同学们有所帮助。文章目录1. 前言2. Llama 系列模型回顾3. Llama 3 模型的奥秘4. Llama 3 的安全性5. 其他亮点6. 未来计划原创 2024-04-29 18:51:00 · 56850 阅读 · 39 评论 -
baichuan 2模型使用的注意事项
本文主要介绍了baichuan 2模型使用的注意事项,希望能对学习大模型的同学们有所帮助。文章目录1. 前言2. baichuan 2 v1.0 vs baichuan 2 v2.03. role的设定4. baichuan2在不同框架上的适配原创 2024-04-14 08:45:00 · 74117 阅读 · 31 评论 -
baichuan(百川)1和2的tokenizer的比较
本文主要介绍了baichuan(百川)1和2的tokenizer的比较,希望能对学习大模型的同学们有所帮助。文章目录1. baichuan tokenizer算法介绍2. baichuan 1 tokenizer3. baichuan 2 tokenizer原创 2024-04-11 08:15:00 · 78401 阅读 · 17 评论