![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 52
Altinder
这个作者很懒,什么都没留下…
展开
-
Penn Chinese Treebank (CTB)论文笔记-成分句法分析的标注体系
Penn Chinese Treebank 标注体系 1. 分词(word segmentation) 由于本文的目标是为句子建立句法结构,因此在分词阶段本文采用了句法词(句法原子)的概念。涉及构词法和词法分析。 2. 词性标注(POS tagging) 由于汉语词汇没有时态、格数标记,词性标注的核心问题是词性标注的定义是基于语义还是基于句法分布。这个问题从20世纪50年代就开始争论了(Gong 1997),存在有两种相反的观点。 例如,“毁灭”翻译成英文:destroy/destroys/destroye原创 2021-09-16 18:31:43 · 1229 阅读 · 0 评论 -
LDA Gibbs Sampling
PLSA 需要求解的参数:doc-topic每个面的概率参数,topic-word骰子每个面的概率参数 可以视同EM算法进行求得局部最优解 EM算法求解 LDA 对于上述的PLSA模型,贝叶斯学派显然是有意见的,doc-topic和topic-word骰子的各个面的概率都是模型中的参数,参数都是随机变量,怎么能没有先验分布呢? 因此LDA将PLSA对应的游戏过程改造为一个贝叶斯的游戏过程。由于φk和θm都对应到多项分布,所以先验分布的一个好的选择就是Drichlet分布,于是得到LDA模型。 ..原创 2021-07-22 15:54:08 · 161 阅读 · 1 评论 -
transformer中multi-head attention在论文中的描述和代码实现的差异
论文中描述的是对QKV做多次线性变换,几个头做几次,默认8次,每一次的维度变换为512->64,然后在单独的头里做点积attention,在把每个头的结果拼起来,维度还原到512 总参数量:512×64×8(n_head)×3 class MultiHeadAttention(nn.Module): ''' Multi-Head Attention module ''' def __init__(self, n_head, d_model, d_k, d_v, dropout=0..原创 2021-07-22 10:34:22 · 332 阅读 · 0 评论