![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
文章平均质量分 66
cztAI
系统 = 输入 + 输出
展开
-
论文:Attention is all you need
论文:https://arxiv.org/abs/1706.03762自注意力,有时也被称为内注意,是一种注意机制,将单个序列的不同位置联系起来,以计算该序列的表示。架构编码器(左半部分)和解码器(右半部分)左半部分的编码器一共有N = 6个子编码器,图中仅显示一个。每一个子编码器都有两层。一层是Multi-Head Attention (多头自注意机构),另一层是 Feed Forward(全连接的前馈网络)。在这两层都使用一个恒等映射(残差结构),然后进行层归一化。每一层的输出表示为原创 2021-06-23 00:07:56 · 1929 阅读 · 1 评论 -
自然语言处理NLP
一.Encoder-Decoder原创 2020-07-25 16:44:52 · 138 阅读 · 0 评论 -
Seq2Seq模型
应用场景机器翻译自动对话机器人文档摘要自动生成图片描述自动生成图片描述自动生产诗词生成代码补全故事风格改写问答需至少5万条对话seq2seq能处理不定长序列Attention注意力机制多了一个约束条件...原创 2021-03-11 18:17:28 · 68 阅读 · 0 评论 -
NLP工具安装记录
nltk安装失败参考博客安装nlkt后有异常,运行示例报错>>> import nltk>>> text=nltk.word_tokenize("PierreVinken , 59 years old , will join as a nonexecutive director on Nov. 29 .")LookupError: ***************************************************************原创 2021-03-08 15:02:32 · 1258 阅读 · 0 评论