![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型
文章平均质量分 90
大模型理论及实战
酒酿小圆子~
这个作者很懒,什么都没留下…
展开
-
【大模型】基于Unsloth微调Llama-3.1 8b代码详解
Unsloth是一个开源的大模型训练加速项目,使用OpenAI的Triton对模型的计算过程进行重写,大幅提升模型的训练速度,降低训练中的显存占用。原创 2024-08-06 14:34:58 · 324 阅读 · 0 评论 -
【大模型】Unsloth安装及使用教程
Unsloth是一个开源的大模型训练加速项目,使用OpenAI的Triton对模型的计算过程进行重写,。Unsloth能够保证重写后的模型计算的一致性,实现中不存在近似计算,模型训练的精度损失为零。Unsloth支持绝大多数主流的GPU设备,包括V100, T4, Titan V, RTX 20, 30, 40x, A100, H100, L40等,支持对LoRA和QLoRA的训练加速和高效显存管理,支持Flash Attention。原创 2024-08-05 22:30:57 · 1137 阅读 · 0 评论 -
大模型技术:发展历程、经典模型、微调与应用[更新中...]
传统的LSTM则只能通过长短期记忆的方法来捕捉token之间的关系,容易导致梯度消失或记忆模糊问题,而Transformer中,任意的token之间都有显式的连接,避免了长距离依赖性问题。在同一篇文章里,随机挑选一个句子作为premise,因为搜索AI提问评论笔记其下一个句子,另外再随机挑选同一篇文章中的其他句子作为Neutral类,其他文章中的句子作为contradiction类。不同的是,N-Gram喂入的是被截断的短文本,而MLM喂入的则是完整的文本,因此MLM更能够保留原始的语义。原创 2024-07-26 17:14:02 · 650 阅读 · 0 评论 -
【大模型】ChatGLM模型微调报错汇总[更新中...]
这里主要是由transformers 版本问题导致的,解决方案可以参考博客:https://blog.csdn.net/Tink_bell/article/details/137942170在我的环境中通过安装版本解决了此问题。原创 2024-07-26 14:37:16 · 313 阅读 · 0 评论 -
【大模型】基于LoRA微调Gemma大模型(1)
此外,我们希望我们的增量ΔW在训练开始时为零,这样微调就会从原始模型一样开始。因此,B通常初始化为全零,而 A初始化为随机值(通常呈正态分布)。原创 2024-07-25 18:03:17 · 639 阅读 · 0 评论 -
Transformers模型实例化方法:AutoModel、AutoModelForCausalLM
Transformers包括管道pipeline、自动模型auto以及具体模型三种模型实例化方法,如果同时有配套的分词工具(Tokenizer),需要使用同名调度。在上述三种应用方式中:管道方式使用最简单,但灵活度最差;具体模型方式使用复杂,但是灵活度最高。通常我们在实际应用中,比较推荐使用自动模型(AutoModel)方式。原创 2024-07-17 16:24:09 · 1175 阅读 · 0 评论 -
【大模型】Transformers库单机多卡推理之device_map
Hugging Face的库支持自动模型(AutoModel)的模型实例化方法,来自动载入并使用GPT、ChatGLM等模型。在方法中的device_map参数,可实现单机多卡推理。原创 2024-07-17 16:18:42 · 926 阅读 · 0 评论 -
LLM大模型中的model.generate()和model.chat()函数
总体来说,generate方法更加灵活,适用于更多的生成任务,而chat方法则提供了更高级别、更易于使用的接口,适用于聊天式应用中。选择使用哪个方法通常取决于你的具体需求和使用场景。原创 2024-07-17 15:29:16 · 1065 阅读 · 0 评论 -
大模型高效参数微调技术(Prompt-Tuning、Prefix Tuning、P-Tuning、LoRA...)
在整个NLP领域,整个发展历程是朝着精度更高、少监督,甚至无监督的方向发展的。而 Prompt-Tuning是目前学术界向这个方向进军最新也是最火的研究成果。原创 2024-07-13 21:07:59 · 854 阅读 · 0 评论 -
大模型核心参数解析(Top-k、Top-p、Temperature、frequency penalty、presence penalty)
我们熟悉的大多数语言模型都是通过重复生成token序列(sequence)中的下一个token来运作的。每次模型想要生成另一个token时,会重新阅读整个token序列并预测接下来应该出现的token。这种策略被称为自回归生成(autoregressive generation)。在自然语言任务中,我们通常使用一个预训练的大模型(比如GPT)来根据给定的输入文本(比如一个开头或一个问题)生成输出文本(比如一个答案或一个结尾)。原创 2024-07-09 22:43:57 · 3617 阅读 · 0 评论 -
LangChain 中文入门教程
众所周知 OpenAI 的 API 无法联网的,所以如果只使用自己的功能实现联网搜索并给出回答、总结 PDF 文档、基于某个 Youtube 视频进行问答等等的功能肯定是无法实现的。LangChain。可以将 LLM 模型(大规模语言模型)与外部数据源进行连接允许与 LLM 模型进行交互假如我们想要用 openai api 对一段文本进行总结,我们通常的做法就是直接发给 api 让他总结。但是如果文本超过了 api 最大的 token 限制就会报错。转载 2024-07-09 16:20:17 · 107 阅读 · 0 评论 -
【大模型】基于ChatGLM的大模型微调(P-Tuning v2、LoRA、Full Parameter) [更新中......]
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。原创 2024-07-01 22:09:27 · 1029 阅读 · 0 评论 -
【大模型】LangChain+ChatGLM理论及应用实战(1)
LangChain 是一个开源的基于 LLM 的上层应用开发框架,LangChain 提供了一系列的工具和接口,让开发者可以轻松地构建和部署基于 LLM 的应用 。LangChain 围绕将不同组件“链接”在一起的核心概念构建,简化了与 GPT-3.5、GPT-4 等 LLM 合作的过程,使得我们可以轻松创建定制的高级用例。通过上面的概念,我们可以看到 LangChain 实际上是基于大语言模型上层的一个应用框架,那么 LangChain 具体解决了大模型时代的哪些问题才让他脱颖而出呢。具体来说,主要有以下转载 2024-06-25 22:50:12 · 310 阅读 · 0 评论 -
【大模型】Prompt Learning 提示学习
传统的监督学习任务,是去训练一个模型P(y|x),接收x作为输入,去预测y。Prompt learning则依赖于预训练语言模型P(x),通过引入合适的模版template将输入x调整为完形填空格式的x’,调整后的输入x’里含有某些空槽,利用语言模型P将空槽填充后就可以推断出对应的y。例如对于情感分析任务,传统的做法就是训练一个判别模型,去预测输入x对应的标签是positive或者negative,但是如果是prompt learning,则是利用合适模版,将输入x调整为 [x], it is [z]。转载 2024-06-17 11:04:01 · 288 阅读 · 0 评论 -
【大模型】LLaMa系列演进及源码解析
主流的大语言模型都采用了Transformer架构,它是一个基于多层Self-attention的神经网络模型。原始的Transformer由编码器(Encoder)和解码器(Decoder)两个部分构成,同时,这两个部分也可以独立使用。Llama模型与GPT-2类似,也是采用了基于Decoder-Only的架构。为了增强训练稳定性,前置了层归一化(Pre-normalization),并使用RMSNorm 作为层归一化方法。为了提高模型性能,采用SwiGLU 作为激活函数。转载 2024-05-07 15:25:42 · 1679 阅读 · 0 评论 -
【大模型】LLaMA-1 模型介绍
Hoffmann 等人(2022)最近的工作表明了,在给定的计算预算下,最佳性能不是由最大的模型实现的,而是基于更多数据上的训练较小模型实现的。和之前的工作相比,本论文的重点是基于更多 tokens 的训练集,在各种推理预算下,训练出性能最佳的一系列语言模型,称为 LLaMA,参数范围从 7B 到 65B 不等,与现有最佳 LLM 相比,其性能是有竞争力的。比如,LLaMA-13B 在大多数基准测试中优于 GPT-3,尽管其尺寸只有 GPT-3 的十分之一。原创 2024-05-07 14:59:01 · 2315 阅读 · 1 评论 -
【大模型】Transformer知识点详解
Transformer 模型中的注意力层提供了处理序列数据的强大能力,自注意力机制允许输入序列的每个位置都能接收到来自序列中其他所有位置的信息,这种机制可以被视为输入序列内部的全连接层。Transformer模型通过使用多头注意力机制来增强模型的能力。简单来说,多头注意力就是并行运行多个自注意力机制,每个机制关注输入的不同部分。通过这种方式,模型可以在不同的表示子空间中学习到输入之间的不同的依赖关系。在实际操作中,每个头的输出会被拼接起来,并通过一个线性层来整合信息。转载 2024-05-21 14:53:21 · 172 阅读 · 0 评论 -
AIGC大模型资料汇总
llama学习笔记-1大模型面试笔记原创 2024-05-21 14:57:57 · 121 阅读 · 0 评论 -
【大模型】基于LoRA微调Gemma大模型(2)
在之前的文章中,我们介绍了Hugging Face调用模型的基本原理,具体参考博客:本篇主要讲如何基于Hugging Face的TRL、Transformers框架和数据集来微调开放的大语言模型。原创 2024-06-11 17:55:13 · 1644 阅读 · 0 评论 -
【大模型】基于Hugging Face调用大模型基础流程
ChatGPT的基本原理以及预训练大语言模型的发展史,我们知道ChatGPT和所有预训练大语言模型的核心是什么?其实就是 Transformer,Hugging Face 的火爆离不开他们开源的这个 Transformers 库。这个开源库里有数万个我们可以直接调用的模型。很多场景下,这个开源模型已经足够我们使用了。接下来我们就从Transformer的架构和具体的案例来介绍Hugging Face Transformer。原创 2024-06-06 15:51:15 · 2484 阅读 · 0 评论