大模型
文章平均质量分 91
敢敢のwings
一位立志成为机器人攻城狮的自动驾驶从业人员,著有《从ROS1到ROS2无人机编程实战指南》一书。目前是阿里云专家博主、华为云享专家、古月居优秀创作者、古月居签约作者、CSDN博客专家。主要专注机器人运动学、定位感知算法、深度学习研究等,平时涉猎较广。希望未来可以努力学习并胜任系统架构师!
展开
-
RAG与知识库搭建
自从发现可以利用自有数据来增强大语言模型(LLM)的能力以来,如何将 LLM 的通用知识与个人数据有效结合一直是热门话题。关于使用微调(fine-tuning)还是检索增强生成(RAG)来实现这一目标的讨论持续不断。检索增强生成 (RAG) 是一种使用来自私有或专有数据源的信息来辅助文本生成的技术。它将检索模型(设计用于搜索大型数据集或知识库)和生成模型(例如大型语言模型 (LLM),此类模型会使用检索到的信息生成可供阅读的文本回复)结合在一起。原创 2024-06-11 18:32:41 · 10066 阅读 · 0 评论 -
大模型之Bloom&LLAMA----RHLF(强化学习)
随着chatgpt的爆火,最近也有很多大模型在不断地出现,比如说Bloom系列以及以LLAMA为基础的ziya和baichuan。这些模型相较于chatglm来说,更加具有发展前景,因为其是完全可商用,并可以不断迭代更新的。最近作者在跟着hiyouga大佬的LLaMA-Efficient-Tuning进行学习,相较于其他的项目来说,该项目是非常适合跟着学习并入门的。原创 2023-10-18 16:41:16 · 7147 阅读 · 0 评论 -
常用的GPT插件
随着chatgpt爆火,这玩意并不对国内用户开放,如果想要使用的话还要需要进行翻墙以及国外手机号才能进行注册。对于国内来说有很多国内免费的方法,这里就整理一下,方便大家开发。原创 2023-08-29 09:40:26 · 7489 阅读 · 2 评论 -
大模型之Bloom&LLAMA----SFT(模型微调)
SFT(Scalable Fine-Tuning)是一种用于自然语言处理的技术,它通过对预训练的语言模型进行微调,使其适应特定任务。在大模型SFT中,使用的是大型的预训练语言模型,例如LLAMA、GPT等,这些模型具有数十亿甚至数百亿个参数,可以处理大量的文本数据。SFT的主要思想是在一个大型的预训练模型的基础上,针对特定的任务对模型进行微调。在微调过程中,模型会根据任务的特点调整模型的参数和结构,以提高模型在该任务上的表现。在微调过程中,可以使用不同的技术,例如数据增强、正则化、优化算法等。原创 2023-08-17 09:32:47 · 16865 阅读 · 1 评论 -
大模型之Bloom&LLAMA----Pre-Training(二次预训练)
随着chatgpt的爆火,最近也有很多大模型在不断地出现,比如说系列以及以LLAMA为基础的和。这些模型相较于chatglm来说,更加具有发展前景,因为其是完全可商用,并可以不断迭代更新的。最近作者在跟着hiyouga大佬的进行学习,相较于其他的项目来说,该项目是非常适合跟着学习并入门的。原创 2023-07-31 10:41:24 · 9287 阅读 · 4 评论 -
大模型微调方法综述
保存时只需要为每个任务保存重参数的结果即可。原创 2023-06-28 12:06:21 · 20255 阅读 · 0 评论