GloVe、子词嵌入、BPE字节对编码、BERT相关知识（第十四次组会）

已于 2023-08-14 21:32:53 修改
阅读量528 收藏
点赞数
分类专栏： 人工智能学习 文章标签： bert 人工智能 深度学习
于 2023-08-14 21:32:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Seven597/article/details/132286337
版权
本文介绍了GloVe和BERT在自然语言处理中的应用，包括子词嵌入方法，以及它们在监督学习和无监督学习任务中的作用，重点讨论了这两种技术在上下文感知模型中的地位。
摘要由CSDN通过智能技术生成
Coder-jzq
关注
专栏目录
大规模语言模型从理论到实践 嵌入表示层
AI天才研究院
08-10 679
大规模语言模型从理论到实践 嵌入表示层 1. 背景介绍 1.1 大规模语言模型的发展历程 1.1.1 早期的统计语言模型 1
bert今生前世全总结
vivian_ll的博客
11-25 1134
一、Bert简介 谷歌AI实验室的BERT深刻影响了NLP的格局。 BERT之后，许多NLP架构、训练方法与语言模型如雨后春笋般涌现，比如谷歌的TransformerXL、OpenAI’s GPT-2、 XLNet、ERNIE2.0、 RoBERTa等。 BERT团队对该框架的描述： BERT全称Bidirectional Encoder Representations from Transfor...
BERT、GPT
Gu_NN的博客
08-20 1692
目录词嵌入的发展Word2Vec和GloVeELMoULM-FiTOpenAI TransformerBERTPre-trainingFine-Turning使用GPT和BERT的差别Masked self-attention layers全连接神经网络应用总结 词嵌入的发展 NLP模型训练时需要对文本文件进行编码，转化为数值的形式。 Word2Vec和GloVe 对词还有词与词之间的关系（例如近义、反义、从属、时态等关系）进行编码，但不考虑语境。 ELMo 本质：双向LSTM 流程图 ULM-FiT
Attention的理解，Bert以及其变型总结
Mr_Carrot的博客
01-11 912
原文出处为这里，张老师关于注意力的讲解 非常的通俗易懂，读了这篇文章之后，写下这篇博客作为笔记。极其推荐看一下这篇原文。 关于key,value,query 其中对于机器翻译来说，将source翻译为target，在注意力机制中可写作 source中是key和value的键值对，对于翻译每一个target的单词，就是向source中进行一次query。其中key为source中的词向量，value为在encoder端的每个单词的hj。 Attention(query, source) = \sum simi
ERNIE: Enhanced Representation through Knowledge Integration, Yu Sun 2020【representation+Bert+ner】
R
01-18 755
title: “ERNIE: Enhanced Representation through Knowledge Integration,Yu Sun 2020 【】” subtitle: “” date: 2021-1-15 author: “xuqiurong” tag： - language representation - 摘要：我们提出了一个新的语言表达模型，名为ERNIE（Enhanced Representation through Knowledge Integration）。 Re.
斯坦福NLP名课带学详解 | CS224n 第12讲 - NLP子词模型（NLP通关指南·完结）
ShowMeAI研究中心
05-07 3656
NLP课程第12讲介绍了语法学 (linguistics) 基础知识、基于字符粒度的模型、子词模型 (Subword-models)、混合字符与词粒度的模型、fastText模型等。
Self-Supervised Learning (ELMO, BERT, GPT, Auto-encoder)
连理o的博客
09-15 697
本文为李宏毅 2021 ML 课程的笔记 目录The models become larger and larger …Self-supervised LearningBERT seriesWhat is BERT?Pre-training objectiveMasked language model (MLM)Next sentence predictionGeneral Language Understanding Evaluation (GLUE)fine-tuningCase 1: Sentim.
预训练模型（1）---- ELMO&GPT&Bert
小小鸟要高飞
09-30 2524
预训练模型
【NLP CS224N笔记】Lecture 12 - Information from parts of words Subword Models
Miracle8070
06-30 479
本次梳理基于Datawhale 第12期组队学习 -CS224n-预训练模块 详细课程内容参考(2019)斯坦福CS224n深度学习自然语言处理课程 1. 写在前面 自然语言处理( NLP )是信息时代最重要的技术之一，也是人工智能的重要组成部分。NLP的应用无处不在，因为人们几乎用语言交流一切：网络搜索、广告、电子邮件、客户服务、语言翻译、医疗报告等。近年来，深度学习方法在许多不同的NLP任务中获得了非常高的性能，使用了不需要传统的、任务特定的特征工程的单个端到端神经模型。 而【NLP CS224N】是
NLP：自然语言处理领域的PTM发展史(无监督模型兴起)—LLMs技术迭代两大阶段(第一代PTMs(词向量，NNLM→Word2Vec→ELMO】、第二代PTMs(语言模型，Attention→Tra
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-14 1028
​ NLP：自然语言处理领域的PTM发展史(无监督模型兴起)—LLMs技术迭代两大阶段(第一代PTMs(词向量，NNLM→Word2Vec→ELMO】、第二代PTMs(语言模型，Attention→Transformer→GPT/BERT系列】)对比、关系梳理、代表性算法对比(持续更新) 目录 NLP技术的迭代方向对比：第一代PTMs(词向量)、第二代PTMs(语言模型) 一、第一代PTMs—2003~2016早期探索 二、第二代PTMs—2012~至今爆发 N
Attention,Transformer,BERT,XLNet,Transformer-XL
guohui_0907的博客
07-22 693
1 传统的词向量的缺点        传统Word Embedding的预训练表示是上下文无关的，例如word2vec，在训练好词向量之后不能表示多意单词，例如：bank deposit（银行） VS river band（岸边） 2 什么是BERT       &nb...
《自然语言处理-基于预训练模型的方法》笔记
github_34349558的博客
08-13 5282
《自然语言处理-基于预训练模型的方法》笔记 文章目录《自然语言处理-基于预训练模型的方法》笔记@[toc]〇.写在前面一、绪论(一) NLP 任务体系I.任务层级II.任务类别III.研究层次(二) 预训练的时代二、NLP 基础(一) 文本表示I.独热向量II.分布式表示III.词嵌入表示IV.词袋表示(二) NLP 任务I.语言模型II. 基础任务III. 应用任务(三) 基本问题I. 文本分类问题II. 结构预测问题III. 序列到序列问题(四) 评价指标I. 标准答案明确的情况II. 标准答案不明确的
白话 Transformer 原理-以 BERT 模型为例
Jin_Kwok的博客
01-30 1110
深入解读 Transformer 底层原理，结合大量生动的案例和图例推演，如同白话，阐述 Transformer 相关的多头注意力机制（Multi-Head Attention）、位置编码（Positional Encoding）、前馈神经网络（Feed Forward Neural Network）、Softmax等环节。同时详细解读了模型预训练、微调、运行的原理。
[论文精读]AI-Guardian: Defeating Adversarial Attacks using Backdoors
m0_52911108的博客
09-27 1247
本文提出了AI-Guardian框架，本质是让模型预测结果受到后门控制，而很难被攻击者操纵，从而抵御对抗攻击。在模型训练阶段，AI-Guardian会针对原始训练样本生成一批后门样本（经过后门处理的样本），按标签双射关系为后门样本分配对应标签，实现后门注入；在模型预测阶段，AI-Guardian先对输入数据进行后门处理，然后将其输入到模型，根据模型输出结果、标签双射关系返回对输入数据真实标签的预测结果。
Linux嵌入式有发展吗，以及对uboot，kernel，rootfs的领悟
最新发布
rjszcb的博客
09-30 521
上一份工作是2022,11—2023，11年底，汽车公司，底层修修改改，编译镜像，修改后，客户给东西，重新编译给他，客制化配置启动参数，环境，支持应用部门，不懂怎么使用某些驱动。uboot到底是干嘛的，想想，emmc的镜像文件是怎么被读到ddr的，emmc为啥可以被分区，烧录镜像，tftp网络命令为啥可以运行，启动设备时，为啥lcd可以看到图像，kernel还没启动，怎么出图像的。不管做应用开发，驱动开发也好，知道，系统原理，驱动框架，进程管理调度，内核竞争，信号，中断，锁，这些就够了。
Python精选200Tips：171-175
AnFany
09-26 1324
Python深度学习的项目
Python/大数据/机器识别毕业设计选题题目推荐
初尘屿风的博客
09-27 993
基于Python和Diango在线购物商城系统+报告文档+指导搭建视频基于深度学习的人脸识别与管理系统，Python实现基于Python/机器学习链家网新房数据可视化及预测系统Python豆瓣电影情感分析推荐系统+爬虫+可视化，过滤算法基于python的django框架生鲜商城管理系统设计与实现基于Python的Flask微博话题舆情分析可视化系统设计基于Python豆瓣电影数据可视化分析系统+毕业论文+指导搭建视频基于Python天气预报数据可视化分析系统+毕业论文基于Python的深度学习音乐推荐系统+
持续学习与创新能力的双重提升
thinkers
09-25 566
  ---
bert与glove词嵌入融合的代码
07-11
以下是一个简单的示例代码，演示了如何将BERT和GloVe词嵌入进行融合： ```python import numpy as np from transformers import BertTokenizer, BertModel from gensim.models import KeyedVectors # 加载BERT模型和GloVe词向量 tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') bert_model = BertModel.from_pretrained('bert-base-uncased') glove_model = KeyedVectors.load_word2vec_format('path_to_glove_vectors.bin', binary=True) # 获取BERT词嵌入 def get_bert_embeddings(text): input_ids = tokenizer.encode(text, add_special_tokens=True) input_ids = torch.tensor(input_ids).unsqueeze(0) outputs = bert_model(input_ids) embeddings = outputs[0].squeeze(0).detach().numpy() return embeddings # 获取GloVe词嵌入 def get_glove_embeddings(text): embeddings = [] for word in text.split(): if word in glove_model.vocab: embeddings.append(glove_model[word]) embeddings = np.mean(embeddings, axis=0) return embeddings # 融合BERT和GloVe词嵌入 def fusion_embeddings(text): bert_embeddings = get_bert_embeddings(text) glove_embeddings = get_glove_embeddings(text) fused_embeddings = np.concatenate((bert_embeddings, glove_embeddings)) return fused_embeddings # 示例用法 text = "I love natural language processing" fused_embeddings = fusion_embeddings(text) print(fused_embeddings.shape) # 输出融合后的词嵌入向量的形状 ``` 在这个示例中，我们首先使用`transformers`库加载BERT模型和tokenizer，使用`gensim`库加载GloVe词嵌入。然后，我们定义了两个函数`get_bert_embeddings`和`get_glove_embeddings`来获取BERT和GloVe的词嵌入向量。最后，我们定义了一个`fusion_embeddings`函数，将BERT和GloVe的词嵌入进行融合，并返回融合后的向量。 需要注意的是，这只是一个简单的示例代码，实际应用中可能需要根据具体需求进行调整和优化。另外，要运行这段代码，你需要安装相应的依赖库，并将GloVe词向量文件替换为你自己的文件路径。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值