大模型训练/微调
文章平均质量分 89
什么是大模型训练与微调?训练:先以海量数据做预训练学通用表征,再做增量预训练注入领域知识。
• 微调:用SFT适配任务,配合RLHF对齐偏好;资源受限可选LoRA/QLoRA/Prefix/Adapter等PEFT。
疯聊AI
AI行业从业者,目前从事AI领域智算、大模型、Agent开发相关工作。主理公众号:疯聊AI,知识星球:疯聊AI。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
峰哥爆肝整理:大模型微调进阶32问
本文分享了关于大模型微调的25个关键问题及解决方案,涵盖全量微调显存需求、SFT数据构建、领域模型训练、多轮对话微调等核心内容。作者指出,微调应注重数据质量而非数量,推荐使用LoRA等高效方法,并强调混合通用数据以防止灾难性遗忘。文章还探讨了预训练与微调的区别、优化器选择、batch size设置等技术细节,并提供了处理loss突刺等问题的实用技巧。最后总结了微调大模型的"终极心法":精选基座模型、严格把控数据质量、合理配置训练参数,实现从"语言预测器"到"原创 2025-09-22 17:38:53 · 766 阅读 · 0 评论 -
谷歌AI Agent白皮书:2025年AI智能体时代来临
本文探讨了生成式AI Agent的核心架构与工作原理。Agent通过整合语言模型、工具和编排层,实现了超越基础模型的能力:1)利用工具扩展功能,访问实时数据并执行现实操作;2)采用ReAct、思维链等推理框架进行决策规划;3)通过扩展程序、函数调用和数据存储三种工具类型实现外部系统交互。文章详细解析了Agent的认知架构组成,对比了不同工具的应用场景,并指出目标学习(上下文学习、检索增强、微调)对提升Agent性能的关键作用。最后强调Agent开发需要持续迭代,未来"Agent链"将成为转载 2025-07-30 00:04:57 · 104 阅读 · 0 评论 -
美国人工智能行动计划中文版 2025.7
美国人工智能行动计划中文版 2025.7原创 2025-07-28 15:21:24 · 859 阅读 · 0 评论 -
开源语音TTS与ASR大模型选型指南(2025最新版)(疯聊AI提供)
开源语音大模型正重塑智能语音市场格局,TTS(文本转语音)和ASR(语音识别)技术取得显著突破。国产模型Speech-02-HD在TTS领域表现突出,支持32种语言和情感控制,在自然度和音色克隆方面领先。ASR领域,FireRedASR中文识别效果优异,Whisper多语言覆盖广。选型需考虑场景需求,如智能客服推荐Speech-02-HD+FireRedASR组合。未来趋势包括多模态融合、边缘计算和情感计算,但面临数据合规、技术同质化等挑战。开源技术正加速语音AI在各行业的应用渗透。原创 2025-07-25 14:33:15 · 7111 阅读 · 0 评论 -
实战:一文讲清ASR语音转文本大模型Faster-Whisper部署全过程
之前我们写了一篇《开源语音TTS与ASR大模型选型指南(2025最新版)》,里边埋了一个伏笔,就是我们的项目是用的哪个ASR大模型,本篇就给大家解密,并给大家分享详细的部署过程,相信大家在这过程中可以学到很多东西。原创 2025-07-23 19:18:45 · 1697 阅读 · 0 评论 -
生成儿童故事漫画:小白兔与小鹿的故事
豆包+DeepSeek生成儿童故事漫画:小白兔与小鹿的故事转载 2025-07-11 17:26:42 · 125 阅读 · 0 评论 -
豆包、midjourney、stable diffusion生图提示词大全
豆包、midjourney、stable diffusion生图提示词大全转载 2025-07-11 17:25:02 · 504 阅读 · 0 评论 -
在阅读200+材料后,总结了88条DeepSeek使用技巧
读了200+关于DeepSeek的材料,总结出来的88个DeepSeek实用技巧。原创 2025-06-30 20:26:59 · 1421 阅读 · 0 评论 -
通用专业级大模型部署Docker基础环境的DockerFile构建(九章云极提供)
我们平时训练微调大模型或部署大模型应用时,会通常用到镜像文件,本文提供通用且专业镜像文件,如有其它组件需安装,则可在Dockerfile文末追加。原创 2025-06-15 11:56:24 · 941 阅读 · 0 评论 -
DeepSeek快问快答
对DeepSeek还没什么不了解的,全在这了。原创 2025-03-23 10:51:26 · 1467 阅读 · 0 评论 -
从零开始:使用SGlang私有化部署满血版DeepSeek-R1实战指南
是一款拥有671B参数规模的推理大模型,其在数学、编程和推理等复杂任务上的表现,已经与当前主流商业大模型不相上下。本文详细介绍如何使用SGlang作为分布式推理方案,并基于Alaya NeW算力云的弹性容器集群,展示DeepSeek-R1私有化部署的最佳实践。通过这种组合,我们旨在提供一个灵活、可扩展且高性能的解决方案,以支持深度学习模型的高效部署与运行。这一方法不仅提升了模型推理的效率,还确保了在私有化环境下的稳定性和安全性。原创 2025-02-25 15:52:11 · 3501 阅读 · 0 评论 -
基于DeepSeek构建个人级与企业级大模型本地知识库
大模型最典型最成熟的应用非知识库莫属了,构建本地大模型知识库的主流技术组件组合通常围绕检索增强生成(RAG)框架展开,涵盖前端交互、向量存储、嵌入模型、推理大模型等核心模块。本文介绍基于大模型构建本地知识库的技术原理,特别是RAG原理,并演示操作个人用的基于轻量版Cherry studio及企业级Dify的知识库构建方案,通过本文档的学习,您可以建设自己个人的或企业级的知识库。原创 2025-02-25 13:54:34 · 1746 阅读 · 0 评论 -
从技术角度讲讲DeepSeek-V3
DeepSeek-V3技术核心剖析原创 2025-02-11 10:50:37 · 971 阅读 · 0 评论 -
DeepSeek-R1比肩OpenAI o1,再一次惊艳世人
当我们还沉浸在大模型的价格杀手、开源之光DeepSeek-V3的惊喜中,DeepSeek于2025年1月20日又再一次让我们吃了一惊,发布了DeepSeek-R1,性能直接对标OpenAI o1,是全球唯一一个可以与其较劲的大模型。此次发布的DeepSeek-R1还是将模型权重一并开源,有实力就是豪横!原创 2025-01-30 10:41:33 · 1468 阅读 · 0 评论 -
DeepSeek-V3——国产AI黑马如何用“东方魔法”颠覆全球AI格局?
DeepSeek V3出现的基本情况、国内外业内人士对DeepSeek-V3的看法、DeepSeek-V3背后的团队介绍、DeepSeek-V3牛在哪里、如何使用DeepSeek-V3、DeepSeek-V3有哪些不足、DeepSeek-V3对行业的影响等内容。原创 2025-01-30 08:37:54 · 1433 阅读 · 0 评论
分享