自然语言处理中的自注意力模型

wang jing

已于 2023-06-21 21:26:19 修改

阅读量67

点赞数

文章标签：自然语言处理人工智能

于 2023-06-21 21:25:27 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_42473207/article/details/131333760

版权

邱锡鹏在YOCSEF上海 2020自然语言处理NLP技术前沿进展上的报告
https://www.bilibili.com/list/watchlater?bvid=BV12v411W7GN&oid=246197266&p=5

在这里插入图片描述

自然语言表示学习

在这里插入图片描述
用向量来表示语义，解释性会差一点，但表示能力更强。分布式的意思就是：把语义分布在高维空间每一维上，所有维度加起来表示一个语义。

用词的语义表示句子的语义，非组合性的如习语等。可能需要外部知识辅助
长程依赖问题：如何建模两个非常远的词之间的交互关系
在这里插入图片描述
一般情况下模型框架：词的表示（非上下文相关的表示）
模型驱动（如何定义Contextual Encoder）+数据驱动(通过NLP任务，学习模型中的参数)=自然语言表示学习

局部组合：浅层模型只能建模局部依赖关系；
在这里插入图片描述

在这里插入图片描述

FNN 被认为是非常重要的一个部分

没有任何先验假设：对比于CNN和RNN有局部先验假设，也就是Transformer 的所有knowledge都来自数据，数据非常小时会造成没有足够信息建模关系
全连接结构所以导致容易过拟合
在这里插入图片描述

模型改进：引入先验

在这里插入图片描述

Sparsity稀疏

针对特定任务的改进

在这里插入图片描述

多标准中文分词

在这里插入图片描述

NLP任务的新范式：预训练+精调

在这里插入图片描述

在这里插入图片描述

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
自然语言处理中的自注意力模型

邱锡鹏教授对自注意力模型的讲解
复制链接

扫一扫

wang jing CSDN认证博客专家 CSDN认证企业博客

码龄6年

4: 原创

178万+: 周排名

66万+: 总排名

2815: 访问

: 等级

61: 积分

0: 粉丝

0: 获赞

1: 评论

3: 收藏

私信

关注

热门文章

分类专栏

论文写作 1篇
机器学习

最新评论

GNN&Reasoning
CSDN-Ada助手: 恭喜您写出了第5篇博客！看得出您对GNN和Reasoning有着深入的研究和思考。希望您能继续保持创作热情，分享您的见解和经验。下一步建议可以围绕GNN和Reasoning的应用场景展开，或者深入探讨相关算法的优化和改进。期待您的下一篇博客！如何快速涨粉，请看该博主的分享：https://hope-wisdom.blog.csdn.net/article/details/130544967?utm_source=csdn_ai_ada_blog_reply5
论文写作指导-整理自余志文教授报告
CSDN-Ada助手: 非常感谢您分享这篇有关论文写作指导的博客，标题也非常吸引人。看到您整理自余志文教授的报告，我相信这篇博客一定很有实用价值。恭喜您持续创作，希望您能够继续分享更多有关论文写作的经验，以及您在写作过程中的思考。同时，也希望您能够多多与读者互动，倾听他们的反馈和建议，不断提高您的写作水平。期待您的下一篇博客！ CSDN 正在通过评论红包奖励优秀博客，请看红包流：https://bbs.csdn.net/?type=4&header=0&utm_source=csdn_ai_ada_blog_reply3，我们会奖励持续创作和学习的博主，请看：https://bbs.csdn.net/forums/csdnnews?typeId=116148&utm_source=csdn_ai_ada_blog_reply3

您愿意向朋友推荐“博客详情页”吗？

强烈不推荐
不推荐
一般般
推荐
强烈推荐

提交

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。