LLM技术优质文章
文章平均质量分 94
LLM技术优质文章
汀、人工智能
本博客将不定期更新关于机器学习、强化学习、数据挖掘以及NLP等领域相关知识,以及分享自己学习到的知识技能,感谢大家关注!
展开
-
告别Hugging Face模型下载难题:掌握高效下载策略,畅享无缝开发体验
告别Hugging Face模型下载难题:掌握高效下载策略,畅享无缝开发体验原创 2024-08-06 07:45:00 · 1369 阅读 · 0 评论 -
【RLHF】想训练ChatGPT?先来看看强化学习(RL)+语言模型(LM)吧(附源码)
【RLHF】想训练ChatGPT?先来看看强化学习(RL)+语言模型(LM)吧(附源码)转载 2023-08-14 16:05:20 · 365 阅读 · 0 评论 -
一文搞清楚LORA、Prompt Tuning、P-Tuning、Adapter 、Prefix等大模型微调方法
一文搞清楚LORA、Prompt Tuning、P-Tuning、Adapter 、Prefix等大模型微调方法转载 2024-03-04 15:30:12 · 1285 阅读 · 0 评论 -
【RLHF】想训练ChatGPT?得先弄明白Reward Model怎么训(附源码)
【RLHF】想训练ChatGPT?得先弄明白Reward Model怎么训(附源码)转载 2023-08-14 16:09:28 · 599 阅读 · 0 评论 -
如何选择GPU显卡,带你对比A100/H100/4090性价比、训练/推理该使用谁?
如何选择GPU显卡,带你对比A100/H100/4090性价比、训练/推理该使用谁?转载 2024-03-21 16:07:32 · 25234 阅读 · 1 评论 -
挑战性能极限小显卡大作为,教你如何在有限资源下运行大型深度学习模型,GPU显存估算并高效利用全攻略!
挑战性能极限小显卡大作为,教你如何在有限资源下运行大型深度学习模型,GPU显存估算并高效利用全攻略!转载 2024-03-29 11:13:07 · 1604 阅读 · 0 评论 -
LLaMA, ChatGLM, BLOOM的参数高效微调实践
大语言模型的训练分为两个阶段:(1)在海量文本语料上的无监督预训练,学习通用的语义表示和世界知识。(2)在小规模数据上,进行指令微调和基于人类反馈的强化学习,更好地对齐最终任务和人类偏好。LIMA[1] 证明了,只需要有限的指令微调数据就可以生成高质量的回复。因此,基座模型的性能是至关重要的,如果基座模型的性能不够好,指令微调和强化学习也难以取得很好的效果。目前,主流的开源大语言模型主要有三个:LLaMA、ChatGLM 和 BLOOM。转载 2023-06-12 09:58:34 · 4251 阅读 · 0 评论