自然语言处理
文章平均质量分 96
自然语言处理相关知识,不包括CIPS 2016
striving长亮
越努力,越幸运!
既要仰望星空,又要脚踏实地!
欢迎各位志同道合的朋友与我进行交流,可私信,看到必回!
写的如果有错误,请大家指正,感谢!
展开
-
【自然语言处理】4. 爆火的Transformer,到底火在哪?
与传统的 Soft Attention相比, Self-Attention 可有效缩短远距离依赖特征之间的距离,更容易捕获时间序列数据中相互依赖的特征,在大多数实际问题中,Self-Attention 更被研究者们所青睐,并具有更加优异的实际表现。完全不依赖于RNN结构仅利用Attention机制的Transformer是如今的一个热门使用模型,大大促进了包括自然语言处理在内的众多领域的发展,对于Transformer模型结构的应用以及改进也是如今的一个热点研究方向,值得众多研究者深入探讨。........原创 2022-06-27 18:52:19 · 548 阅读 · 3 评论 -
【自然语言处理】3. NMT机器翻译案例实战(基于TensorFlow Addons Networks with Attention Mechanism)
以案例实现为材料,本文用一章节的内容给大家详细介绍一下Attention模型。这个案例主要是利用tfa框架Sequence to Sequence Model Architecture中的Attention以及Encoder-Decoder方法实现神经机器翻译(Neural Machine Translation,NMT),当然翻译的准确性不可能像BERT之类的那么好,但可以作为一个入门实验,通过这个案例,大家应该对Attention的使用有了更清晰、更全面的认识。......原创 2021-08-27 15:30:08 · 1117 阅读 · 5 评论 -
【自然语言处理】2. Attention实现详细解析( tfa, keras 方法调用源码分析 & 自建网络)
最近几年,Attention模型在NLP乃至深度学习、人工智能领域都是一个相当热门的词汇,被学术界和工业界的广大学者放入自己的模型当中,并得到了不错的反馈。再加上BERT的强势表现以及Transformer的霸榜,让大家对Attention变得更加感兴趣,本人在上一篇文章对Attention模型的机制原理进行了详细的介绍分析,有兴趣的可以自行查看哟。纸上得来终觉浅,绝知此事要躬行。机制原理、理论讲的再好,没有实验证明也白搭。实践是检验真理的唯一途径。本文对Attention实现进行了详细解析。...原创 2021-08-20 22:02:35 · 2499 阅读 · 4 评论 -
【自然语言处理】1. 细讲:Attention模型的机制原理
NLP系列讲解笔记最近两年,注意力模型(Attention Model)被广泛使用在自然语言处理(Natural Language Processing, NLP)、图像识别及语音识别等各种不同类型的深度学习任务中,是深度学习技术中最值得关注与深入了解的核心技术之一,甚至于是传统的时序数据的预测,都很容易遇到注意力模型的身影。而Transformer所采用的主要算法模型即Attention,所以,了解注意力机制的工作原理至关重要。...原创 2021-08-18 16:14:01 · 1942 阅读 · 9 评论