![](https://img-blog.csdnimg.cn/direct/b40eb7bb253345619d4d6a4071635a22.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大模型
文章平均质量分 87
大模型
征途黯然.
Hold me hard and mellow.
展开
-
【langchain】langchain调用huggingface本地模型基础demo
目前网上的langchain教程大多数都是关于如何调用OpenAI等远程模型,对于本地模型的调用示例写法比较少。而且langchain也在不停迭代,文档也比较杂。因此,本文将向大家介绍如何使用Langchain调用Hugging Face本地模型的基础demo,帮助大家快速开始langchain的“Hello World”。【注意】事先安装langchain_huggingface、langchain,并下载好模型权重。相关写法参考的是langchain官方文档。原创 2024-06-10 23:33:49 · 1188 阅读 · 164 评论 -
【Qwen模型】QWEN TECHNICAL REPORT
在阅读了本篇论文和`transformers`库里面的`Qwen2Model`源码之后,我观察到模型用的组件tricks有RoPE(苏剑林提出)、RMSNorm、SwiGLU、SdpaAttention等等;原创 2024-04-19 16:54:38 · 3069 阅读 · 95 评论 -
【RMSNorm】Root Mean Square Layer Normalization
论文改进了大模型领域常用的`LayerNorm`,提出`RMSNorm`(均方差层归一化)。相比于`LayerNorm`,`RMSNorm`开销更小,训练更快,性能与`LayerNorm`基本相当。原创 2024-04-05 15:00:18 · 2276 阅读 · 40 评论 -
【T5中的激活函数】GLU Variants Improve Transformer
论文在各种激活函数之间做了对比实验,探究应用不同激活函数的FNN对T5模型的影响。最终`GEGLU`效果最好。原创 2024-04-04 20:57:37 · 1937 阅读 · 11 评论 -
【mT5模型】mT5: A Massively Multilingual Pre-trained Text-to-Text Transformer
mT5是在T5基础上的多语言版本,现在终于可以炼自己的翻译模型了!并且从这篇论文中也能学到一些多语言数据集采样的tirck!原创 2024-04-04 14:42:57 · 1922 阅读 · 6 评论 -
【T5模型源码】深入T5模型:源码解析与实现细节
我们在日常业务中可能会遇到出海场景,会涉及多个地区和语言,目前来说mT5仍然是多语言翻译任务种比较fancy的模型。T5作为mT5的前身,模型结构和mT5没什么区别,本篇文章将详细介绍在`transformers`库中T5模型的源码。原创 2024-04-01 16:49:20 · 2858 阅读 · 23 评论 -
【T5模型】Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
从2024年各家对话大模型涌出的节点往前看,T5模型的工作确实属于承上启下了,既整合了19年之前比较杂乱的Prompt训练的状况(虽然只统一了分类、问答、翻译这几个常见的NLP任务),又为后续研究人员的工作做了铺垫。大厂还是非常有前瞻性的,并且像对话大模型这样的成果也只有企业(资金、商业目的)才能创新出来。原创 2024-04-01 16:47:44 · 1957 阅读 · 0 评论 -
深入解析大语言模型显存占用:训练与推理
本篇文章将帮助你优雅又快速地拒绝老板。看完本篇《深入解析大语言模型显存占用:训练与推理》,你将对模型占用显存的问题有个透彻的理解。原创 2024-03-27 00:55:35 · 5253 阅读 · 36 评论 -
Transformer原理与代码实现
在通过线性层学习QKV向量之后,Q和K经历点积矩阵乘法以产生得分矩阵:得分矩阵决定了一个单词在其他单词上的关注程度。因此每个单词都有一个与时间步长中的其他单词相对应的分数。分数越高,注意力越集中。这就是Q映射到K的方式:然后,分数通过除以Q和K的维度的平方根而缩小。这是为了获得更稳定的数据,否则可能会产生爆炸效果。下一步,使用softmax来得到注意力权重,返回0到1之间的概率值。通过做softmax,高分得到提高,低分受到抑制。这样模型可以决定对哪些单词的注意力更高哪些单词的注意力比较低。原创 2024-01-15 15:04:05 · 4417 阅读 · 88 评论 -
HuggingFace库中BERTForxxx模型代码详细分析 使用BERT进行无监督预训练
相信大家对BERT论文中随机抽取15%的token来MASK印象深刻,我在HF库的源码中找了半天也没找到随机MASK的具体实现。知道最后才发现,随机MASK是在数据准备阶段做的。在做`MLM`任务(无监督)之前,我们先是有输入`input_id`,然后从中抽取15%,再按8:1:1的比率进行MASK、不变、随机(就像论文中说的那样),其他位置设置为`-100`,然后组成一个向量`mlm_label`,表示`MLM`任务的标签。在最后计算交叉熵损失的时候,对于标签为`-100`的数据,是不会进行计算的原创 2024-02-06 02:20:19 · 3645 阅读 · 101 评论 -
【HuggingFace】RoBERTa分词器RobertaTokenizer编码完整单词
在用`RobertaTokenizer`对单词进行分词的时候,发现单词`acquire`会被分词两个词根,但是`RobertaForMaskedLM`可以预测出来单词`acquire`。原创 2023-07-31 23:30:00 · 3258 阅读 · 0 评论 -
【预训练语言模型】XLNet: Generalized Autoregressive Pretraining for Language Understanding
2)况且在预测掩码时,我们肯定完全不知道这个词的任何信息,因此就不可能知道它要预测的词到底是哪个位置的词,所以我们必须 “显式” 的告诉模型我要预测哪个位置的词。它的优缺点跟下游 NLP 任务有关,比如生成类NLP任务,比如文本摘要,机器翻译等,在实际生成内容的时候,就是从左向右的,自回归语言模型天然匹配这个过程。在BERT出世之前,大家使用的语言模型其实是根据上文内容预测下一个可能跟随的单词,就是常说的自左向右的语言模型任务,或者反过来也行(就是根据下文预测前面的单词)。一个显著的例子是BERT。原创 2022-11-01 16:29:11 · 2632 阅读 · 0 评论 -
【文本分类】Attention Is All You Need
transformer原创 2022-01-03 21:02:23 · 910 阅读 · 0 评论 -
【文本分类】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Bert是继Transformer之后的又一杰出的模型。原创 2022-01-11 13:15:40 · 527 阅读 · 0 评论 -
【预训练语言模型】RoBERTa: A Robustly Optimized BERT Pretraining Approach
通过从文本语料库中提取连续的句子来创建正例,反例是通过对不同文档的片段进行配对来创建的。NSP目标旨在提高下游任务的性能,如自然语言推理,这需要对句子对之间的关系进行推理。当采样到一个文档的末尾时,对下一个文档中的句子进行采样,并在文档之间添加一个额外的分隔符标记。:每个输入都包含一对自然语句,可以从一个文档的连续部分中采样,也可以从单独的文档中采样。,只是它们不能跨文档。[3] 训练模型的时间更长,批次更大,数据更多,更大的字节对编码词典。3、训练模型的时间更长,批次更大,数据更多,更大的字节对编码。原创 2022-10-31 15:47:48 · 3153 阅读 · 0 评论