nlp理论
junjunzai123
这个作者很懒,什么都没留下…
展开
-
注意力机制简介
注意力机制解析1.1 注意力机制介绍 什么是注意力: 我们观察事物时,之所以能够快速判断一种事物(当然允许判断是错误的), 是因为我们大脑能够很快把注意力放在事物最具有辨识度的部分从而作出判断,而并非是从头到尾的观察一遍事物后,才能有判断结果. 正是基于这样的理论,就产生了注意力机制. 什么是注意力计算规则: 它需要三个指定的输入Q(query), K(key), V(value), 然后通过计算公式得到注意力的结果, 这个结果代表query在key和value作原创 2022-05-27 10:12:59 · 646 阅读 · 0 评论 -
Attention 和 self-attention 的区别
Attention 和 self-attention 的区别根据他们之间的重要区别, 可以区分在不同任务中的使用方法:在神经网络中,通常来说你会有输入层(input),应用激活函数后的输出层(output),在RNN当中你会有状态(state)。如果attention (AT) 被应用在某一层的话,它更多的是被应用在输出或者是状态层上,而当我们使用self-attention(SA),这种注意力的机制更多的实在关注input上。Attention (AT) 经常被应用在从编码器(encoder)原创 2022-01-07 09:38:23 · 2680 阅读 · 0 评论 -
Self-attention从Attention的演变过程
Self-attention从Attention的演变过程Self-attention就本质上是一种特殊的attention。这种应用在transformer中最重要的结构之一。上面我们介绍了attention机制,它能够帮我们找到子序列和全局的attention的关系,也就是找到权重值 wiw_iwi, self-attention对于attention的变化,其实就是寻找权重值wiw_iwi的过程不同。下面,我们来看看self-attention的运算过程。为了能够产生输出的向量yiy原创 2022-01-07 09:36:06 · 534 阅读 · 0 评论 -
Attention机制原理
Attention机制原理其实Attention 机制的工作原理并不复杂,我们可以用下面这张图做一个总结一个 Attention 的计算过程有三步:阶段一: query 和 key 进行相似度计算,得到一个query 和 key 相关性的分值阶段二: 将这个分值进行归一化(softmax),得到一个注意力的分布阶段三: 使用注意力分布和 value 进行计算,得到一个融合注意力的更好的 value 值为了更好的说明上面的情况, 我们通过注意力来做一个机器翻译(NMT) 的任务,机器原创 2022-01-07 09:24:19 · 2164 阅读 · 0 评论 -
注意力机制介绍
注意力机制介绍什么是注意力:我们观察事物时,之所以能够快速判断一种事物(当然允许判断是错误的), 是因为我们大脑能够很快把注意力放在事物最具有辨识度的部分从而作出判断,而并非是从头到尾的观察一遍事物后,才能有判断结果. 正是基于这样的理论,就产生了注意力机制.什么是注意力计算规则:它需要三个指定的输入Q(query), K(key), V(value), 然后通过计算公式得到注意力的结果, 这个结果代表query在key和value作用下的注意力表示. 当输入的Q=K=V时, 称作原创 2022-01-07 08:55:57 · 2131 阅读 · 0 评论 -
hanlp模型加载报错的使用问题
如果最近不能使用hanlp或是版本问题解决方案:1. pip install hanlp[full]2. 如果出现权限问题: sudo pip install hanlp[full]如果在安装过程中出现zsh不兼容:no matches found的问题解决方案:~/.zprofile文件加入:setopt no_nomatch之后,更新配置source ~/.zprofile...原创 2021-08-26 19:34:04 · 929 阅读 · 1 评论 -
注意力机制QKV理解
注意力机制说白了就是要通过训练得到一个加权,自注意力机制就是要通过权重矩阵来自发地找到词与词之间的关系。因此肯定需要给每个input定义tensor,然后通过tensor间的乘法来得到input之间的关系。那这么说是不是给每个input定义1个tensor就够了呢?不够啊!如果每个input只有一个相应的q,那么q1和q2之间做乘法求取了a1和a2的关系之后,这个结果怎么存放怎么使用呢?而且a1和a2之间的关系是对偶的吗?如果a1找a2和a2找a1有区别怎么办?只定义一个这模型是不是有点太简单了 一原创 2021-08-23 07:49:12 · 11936 阅读 · 2 评论