BART BERT ELMO UNILM之间差别

已于 2023-02-27 12:18:20 修改
阅读量528 收藏 1
点赞数
文章标签： bert 自然语言处理 人工智能
于 2023-02-27 11:25:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42802447/article/details/129238303
版权

这里只针对情感分析这一个下游任务进行分析：
BART、ELMO 都是生成模型，只能与一定数目固定的标签做细粒度情感分析
BART 是通过 NSP 预训练任务，将标签作为下句，判断上句和下句是否存在关系，进而判断这个标签是否属于这句话，缺点是假如有60个标签，那就需要判断60次，运行速度堪忧。
ELMO 则是通过 MLM 预训练任务，给句子结尾进行 Mask

或者看下李宏毅老师这个图

BERT 的transformer之间全连接，看上下文，没法用做生成式任务，因为在前面就看到后面的了
BART 是看前面预测后面
GPT 是前一个词生后一个词

浪里摸鱼
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
BERT、BART、T5 等LLM大语言模型的比较分析
iCloudEnd的博客
09-07 360
在这篇博文中，我将讨论 BERT、BART 和 T5 等大型语言模型。到 2020 年，法学硕士领域取得的重大进展包括这些模型的开发。BERT和T5是Google开发的，BART是Meta开发的。我将根据这些型号的发布日期按顺序介绍它们的详细信息。在上一篇博客文章自然语言处理的自回归模型中，我讨论了生成式预训练 Transformer 的自回归性质。在这篇博客中，我将比较这些模型与自回归模型的不同之处。因此，如果您还没有查看过上一篇文章，请去查看一下。
bart_kitchen_robots_museum7
06-09
这里是小编在《Ray Tracing from the Ground Up》的基础上分别实现BART中的三个动画（kitchen, robots, museum）的C++代码。Xcode
bart:BART API的golang包装器
05-22
BART API的golang包装器（正在进行中） 要安装软件包 go get github.com/chaitanyav/bart 对于文档 godoc -http=:8000 http://localhost:8000/pkg/github.com/chaitanyav/bart/ 获取BART Station的示例代码以及Station信息和Station Access信息 package main import ( "github.com/chaitanyav/bart" "fmt" "log" ) func main() { stationsInfo, err := bart.GetStations() if err != nil { log.Fatalf("Error getting stations info: %s\n", err) }
十七、BART
contributed_l的博客
03-24 1072
模型是仅使用 Transformer-结构的预训练语言模型。模型是仅使用 Transformer-结构的预训练语言模型。uto-egressiveransformers）模型是使用标准的 Transformer-模型整体结构的预训练语言模型。其在标准的 Seq2Seq Transformer Model 的基础之上，融合了 BERT 的 Bidirectional Encoder 和 GPT 的 Left-to-Right Recoder 的优点，使得它比 BERT 更适合文本生成的场景；
BART论文解读：BERT和GPT结合起来会发生什么？
qq_51957239的博客
01-06 1054
为了与当前摘要任务的最新技术进行比较，我们在两个具有不同特点的摘要数据集CNN/DailyMail和XSum上展示了结果。CNN/DailyMail中的摘要倾向于与源句子相似。抽取式模型在这里做得很好，甚至仅用前三个源句子作为基线的表现也非常有竞争力。尽管如此，BART在所有已有的工作中表现最好。相比之下，XSum高度概括，抽取式模型表现不佳。BART在所有ROUGE指标上大约比利用BERT的最佳前作提高了6.0分，这代表了在这一问题上性能的重大进步。在质量上，样本的质量很高（见第6节）。
BART: Bidirectional and Auto-Regressive Transformers
zephyr_wang的博客
01-31 1564
1 简介 BART: Bidirectional and Auto-Regressive Transformers. 本文根据2019年《BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension》翻译总结。 BERT是双向encoder，GPT是left-to-right decoder。BART可以说是既有encoder，又有decode
深入理解深度学习——BERT派生模型：BART（Bidirectional and Auto-Regressive Transformers）
热门推荐
冯·诺依曼
06-24 1万+
UniLM和XLNet都尝试在一定程度上融合BERT的双向编码思想，以及GPT的单向编码思想，同时兼具自编码的语义理解能力和自回归的文本生成能力。由脸书公司提出的BART（Bidirectional and Auto-Regressive Transformers）也是如此，它是一个兼顾上下文信息和自回归特性的模型。不同的是，UniLM和XLNet的模型结构与BERT基本一致，通过修改训练过程让模型具备了一定的文本生成能力，故模型的主要功能依然是语义理解。
Bert系模型：RoBERTa, BART, ALBERT, etc 论文译读
apache的专栏
03-31 2439
Bert系模型：RoBERTa, BART, ALBERT, etc
【芝麻街一家】& Bert Bart RoBERTa
Zheng_LH
07-24 1488
bert bart roberta
李宏毅机器学习（八）ELMo、BERT、GPT、XLNet、MASS、BART、UniLM、ELECTRA、others
qq_35222729的博客
08-13 1504
怎么得到这个pre-train好的模型呢？ Pre-training by Translation（翻译） Context Vector（CoVe）： Embedding的words必须要考虑上下文！ 有一个方法是用基于Translation的Model！ 就是用Translation这个任务间接的训练model！ 为什么不用Summary等任务作为工具呢，因为summary是提取某些word的重要性，那么不能做到对所有的word一视同仁！ 同时该任务的缺点也在于需要大量的成对的数据，我们不可能有很多的数
bart-0.4.04_insidezsn_reconstruction_matlabGUI_bart_
10-02
LIBRARY_PATH environment variable
KG-BART:KG-BART
05-30
KG-BART KG-BART：用于生成常识推理的知识图增强 BART 0. 介绍 这是我们关于生成常识推理的论文中模型的官方代码库： 叶柳、姚万、何丽芳、郝鹏、Philip S. Yu。 KG-BART：用于生成常识推理的知识图增强 BART。 在...
BART模型-包含网络参数
08-16
中文自动摘要模型，可使用 import torch model.load_state_dict(torch.load('BART.pth')) 进行模型的加载
从统计语言模型到预训练语言模型---预训练语言模型（BERT，GPT，BART系列）
Hanscal
09-23 375
基于 Transformer 架构以及 Attention 机制，一系列预训练语言模型被不断提出。
AI推介-多模态视觉语言模型VLMs论文速览（arXiv方向）：2024.05.01-2024.05.10
小小帅
05-28 1032
医学图像识别任务因存在多种不同的病理指征而明显复杂化，这给未见标签的多标签分类带来了独特的挑战。这种复杂性凸显了对采用多标签零点学习的计算机辅助诊断方法的需求。预训练视觉语言模型（VLMs）的最新进展展示了医疗图像零镜头分类的显著能力。然而，这些方法在利用来自更广泛图像数据集的大量预训练知识方面存在局限性，而且通常依赖于放射科专家的手动提示构建。通过自动调整提示过程，提示学习技术已成为使 VLM 适应下游任务的有效方法。
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.04.15-2024.04.20
小小帅
05-30 990
我们提出了一种估算大型语言模型（LLM）内含潜在知识的方法。我们利用 LLM 的上下文学习（ICL）能力来估算 LLM 对知识库中存储的事实的了解程度。我们的知识估算器避免了以往基于提示的方法所存在的可靠性问题，在概念上更简单，应用起来也更容易，而且我们证明它可以揭示出更多蕴藏在 LLM 中的潜在知识。我们还研究了不同的设计选择如何影响基于 ICL 的知识估计的性能。
大语言模型应用与传统程序的不同
最新发布
姚家湾博客
05-30 672
大语言模型（LLM） 被描述的神乎其神，无所不能，其实，大语言模型只是一个模型，它能够理解和生成自然语言，唯有依靠应用程序才能够发挥作用。例如，基于大模型可以构建一个最简单的会话机器人，需要有IO 模型，将用户的提问发送给大模型，大模型得到回应后，通过输出模块将问答反馈给用户。为了使大模型能够准确地理解用户的提问，LLM 应用程序要给它合适的提示（Prompt），所有的函数都有合适的描述（Description）。可以将大语言模型应用是看作一个基于自然语言描述的的程序。
实战15：bert 命名实体识别、地址解析、人名电话地址抽取系统-完整代码数据
05-29 224
实战15：bert 命名实体识别、地址解析、人名电话地址抽取系统-完整代码数据
AI推介-多模态视觉语言模型VLMs论文速览（arXiv方向）：2024.05.20-2024.05.25
小小帅
05-28 1273
大型语言模型（LLM）的成功促进了多模态大型语言模型（MLLM）这一新的研究趋势，改变了计算机视觉各个领域的研究范式。虽然 MLLM 在许多高级视觉和视觉语言任务（如 VQA 和文本到图像）中取得了可喜的成果，但还没有研究表明低级视觉任务如何从 MLLM 中受益。我们发现，由于视觉模块的设计原因，目前大多数 MLLM 对低层次特征视而不见，因此本质上无法解决低层次视觉任务。在这项工作中，我们设计了。
谷歌的bert与bard分别是什么？
05-29
BERT（Bidirectional Encoder Representations from Transformers）是由Google提出的一种预训练语言模型，使用Transformer网络结构进行训练，广泛应用于自然语言处理领域，如文本分类、命名实体识别、文本相似度计算等任务。 BART（Bidirectional and Auto-Regressive Transformer）是由Facebook提出的一种基于Transformer网络结构的预训练语言模型，不仅支持自编码器（Auto-Encoder）模式的训练，还支持自回归（Auto-Reggressive）模式的训练，具有更广泛的应用场景。BART在文本摘要、文本生成、机器翻译等任务中取得了不错的成绩。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

浪里摸鱼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值