cs224n学习4： Contextual Word Representations and Pretraining

最新推荐文章于 2024-08-09 19:49:38 发布
最新推荐文章于 2024-08-09 19:49:38 发布
阅读量254 收藏
点赞数
文章标签： 自然语言处理 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Rock_y/article/details/107108343
版权

Contextual Word Representations and Pretraining

BERT原理详解

从创新的角度来看,bert实并没有过多的构方面的创新点,其和GPT一样均是采用的 transformer的结构,相对于GPT来说,其是双向结构的,而GPT是单向的,如下图所示
在这里插入图片描述
elmo: 将上下文当作特征，但是无督的语料和我们真实的语料还是有区别的，不一定的符合我们特定的任务,是一种双向的特征提取。
openai gpt：就做了个改进,也是通过 transformer学习出来一个语言模型，不是固定的，通过任务finetuning用transformer代替elmo的llstm。
openai gpt：其实就是少了 encoder的transformer。当然也没了 encoder与 decoder 之间的 attention
openai gpt虽然可以进行 fine tuning，但是有些特殊任务与 pretraining输入有出入，单个句子与两个句子不一致的情况，很难解决，还有就是 decoder只能看到前面的信息。
其次bert在多方面的nlp任务表现来看效果都较好，具备较强的泛化能力，对于特定的任务只需要添加一个输出层来进行 fine-tuning即可。

BERT的预训练过程

  • Masked Language Model
  • Next Sentence Prediction

输入

在这里插入图片描述

微调

在这里插入图片描述

Rock_y
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Contextual Word Representations and Pretraining
helloworld309的博客
07-03 2225
一、Word Representations 在2018年之前，我们使用的词向量表征技术主要有三个：Word2Vec、Glove、FastText。但是这三个方法都普遍存在在一些问题，就是无法解决一次多义的问题，即对于同一个词无论上下文的单词是否相同，训练出来的词向量都是一样的。 通常我们训练词向量的时候，首先会初始化所有的词向量，并且在训练过程中不断地改变这些向量的值，需要注意的是训练的目标是我们自己定义的任务，而词向量仅仅是副产物而已。 当我们手中的语料不足时训练出来的词向量效果不会很理想，这是用通常会
NLP基础之——Contextual Word Representations and Pretraining
zhangxiaolinxin的博客
07-03 345
一、ELMO ELMO的基本思想是利用双向的LSTM结构，对于某个语言模型的目标，在大量文本上进行预训练，从LSTM layer中得到contextual embedding，其中较低层的LSTM代表了比较简单的语法信息，而上层的LSTM捕捉的是依赖于上下文的语义信息。ELMO的全称就是Embeddings from Language Models。对于下游的任务，再将这些不同层的向量线性组合，再做监督学习。 ELMo算法过程为： 先在大语料上以language model为目标训练出bidirectio
【2019斯坦福CS224N笔记】（13）Contextual Word Representations and Pretraining
abcgkj的博客
09-03 842
csdn：https://blog.csdn.net/abcgkj github：https://github.com/aimi-cn/AILearners 词向量的表示 目前为止，我们已经学过了one-hot编码、word2vec、glove等词向量的表示。但是这三个方法都普遍存在在一些问题，就是无法解决一词多义的问题。即对于同一个词无论上下文的单词是否相同，训练出来的词向量都是一样的。 当我...
CS224N学习笔记（十三）Contextual Word Representations and Pretraining
rocking_struggling的博客
05-20 275
1. Representations for a word 之前的CS22N的课程介绍了词向量比如，Word2vec, GloVe, fastText。通过这些词向量能在神经网络的训练中起到一个很好的效果，如图所示： 这种常规的词向量有很多问题，比如unknown-words 针对训练词向量unknown-word，有一些解决方法： 使用 一个《UNK》表示全部的unknown单词 如果test时出现unknown单词，在你的无监督词向量出现过，使用那个词向量作为unknown的词向量。 对每一个unk
自然语言处理 cs224n 2019 Lecture 13: Contextual Word Representations and Pretraining
qq_33908388的博客
07-22 325
上下文词表示和预训练 主要内容 词表示上的映射 Pre-ELMo 和 ELMO ULMfit 和onward Transformer架构 bert 一、词表示上的映射 现在为止，我们基本上可以说我们有一个词向量的表示了：word2vec，glove，fastText 预训练词向量： 模型使用了预训练词向量之后，得分得到了提升： 预训练词向量 可以开始的时候给单词一个随机...
2019最新斯坦福CS224n课件（上）.zip
07-02
【13】"Modeling contexts of use Contextual Representations and Pretraining"探讨了上下文感知的表示学习，如ELMo和BERT等预训练模型，这些模型通过在大规模未标注数据上预训练，然后在特定任务上微调，极大地...
CS224n【所有reports】.zip
01-07
5. **上下文表示（Contextual Representations）**：`cs224n-2019-lecture13-contextual-representations.pdf`可能介绍词嵌入的进展，如ELMo、BERT和GPT，这些模型能根据单词的上下文生成不同的词向量。 6. **树形...
uPerform:registered:上下文帮助「uPerform:registered: Contextual Help」-crx插件
03-20
有2千万的最终用户和4,600多个全球客户在使用它。加强学习。有信心和称职的用户将更频繁，更有效地使用您的软件，从而产生更好的结果 uPerform在正确的时间在正确的人想要的地方提供正确的学习内容，即使它是高度...
vertx-contextual-logging:Vertx应用程序的上下文日志记录
05-24
文档通常会解释如何配置日志级别、如何与现有的日志系统（如Logback、Log4j等）集成，以及如何在分布式环境中传播和收集上下文信息。 总的来说，理解并有效地利用Vert.x的上下文日志记录，可以帮助开发者构建更健壮...
Contextual-Semantic-Parsing-Paper-List:上下文相关语义解析
05-29
如果您觉得本调查有用，请引用： @article{li2020context, title={Context Dependent Semantic Parsing: A Survey}, author={Li, Zhuang and Qu, Lizhen and Haffari, Gholamreza}, journal={arXiv preprint arXiv:...
【cs224n-12】Modeling contexts of use: Contextual Representations and Pretraining. ELMo and BERT.
u011613991的专栏
05-31 215
上一篇我们讲解了词嵌入的静态表示和上下文动态表示的区别，即基于上下文动态表示的预训练模型的发展情况，本文是对具体细节的一些细化描述。 1. Representations for a word 我们可以从我们常见的词嵌入的静态表示模型 Word2vec, GloVe, fastText获得一个单词的表示，并应有与下游任务。 Tips for unknown words with word vectors 简单且常见的解决方案 训练时：词汇表 Vocab ...
【cs224n-11】Contextual Word Representations: BERT
u011613991的专栏
05-24 351
词嵌入是NLP深度学习的基础，以Word2Vec、Glove和FastText为代表的静态词向量为文本在神经网络中的表示提供了一种强有力的工具。然而这种静态的词嵌入存在的问题是，以上下文无关的方式应用，对每个单词仅有一种表示，而通常单词的含义依赖于其上下文会有所不同，而且每个单词不仅有一方面特征，而应有各方面特征如语义特征，语法特征等。解决的方式是，在文本语料库上训练上下文表示。 静态表示： 上下文动态表示： 上下文表示发展过程： 1.Semi-Supervised...
How Contextual are Contextualized Word Representations in BERT、ELMO and GPT-2 Embeddings
Forlogenの解忧杂货铺
02-14 778
How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings office blog 在NLP的发展历程中，以Vorw2Vec、Glove和FastText为代表的静态词向量为文本在神经网络中的表示提供了一种强有力的工具，同时...
这么多年，终于有人讲清楚 Transformer 了！
数据猿
10-20 4858
“数据猿年度重磅活动预告：2020年度金猿策划活动（金猿榜单发布+金猿奖杯颁发）即将推出，尽情咨询期待！大数据产业创新服务媒体——聚焦数据 · 改变商业注意力机制是一种在现代深度学习模型...
【NLP】使用Transformer模型进行文本分类
fengdu78的博客
10-20 5974
作者 | Eric Fillion编译 | VK来源 | Towards Data Science文本分类是NLP最常见的应用。与大多数NLP应用一样，Transformer模型近年来在该...
【多模态】Flamingo: a Visual Language Model for Few-Shot Learning
vivid
08-08 925
链接：https://arxiv.org/pdf/2204.14198论文：Flamingo: a Visual Language Model for Few-Shot Learning。
【大模型从入门到精通15】openAI API 构建和评估大型语言模型（LLM）应用3
最新发布
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
08-09 499
函数中的逻辑需要根据实际情况进行调整，以便能够正确解析LLM的响应并提取分数和反馈。以上代码示例仅供参考，实际应用中需要根据具体情况调整和完善。函数对一个响应进行评估，以了解它与提供的上下文的匹配程度以及信息的准确性。
大语言模型与多模态大模型loss计算
weixin_38252409的博客
08-08 93
如果看了我前面文章，想必你基本对整个代码有了更深认识。实际上，大多大模型都是使用huggingface搭建，而大多LORA训练也是调用PEFT库。然而，LLaVA代码却没有相关VIT模型训练内容，也没有不同组合训练。而我也是想探索单独使用vit的lora训练、单独使用llm的lora训练或全都使用会有什么效果呢？因此，本篇文章将探索LLaVA如何按需构建LORA训练，我会给出如何构建参数与修改源码，也会给出我实验结果。
GLM大模型的机器翻译能力测试
I good vegetable a!
08-08 763
最近想对GLM-4今年发布的几个大模型 glm-4-0520，glm-4-air以及glm-4-flash简单评测一下它们的机器翻译能力，由于这几个大模型的容量和训练数据都有区别，所以它们的翻译能力也是不同的。我们这里就分别选择一些有趣的，有挑战性的，专业性的数据来分别让glm-4-0520，glm-4-air以及glm-4-flash还有百度翻译分别给出它们的翻译结果。
NCAD：深度学习驱动的时间序列异常检测框架
NCAD（Neural Contextual Anomaly Detection）是一种创新的时间序列异常检测框架，它融合了深度学习技术和多元时间序列表示学习，旨在从无监督到有监督的学习过程中提供无缝的迁移能力。该方法特别适用于单变量和多...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值