机器学习
wangpeng138375
这个作者很懒,什么都没留下…
展开
-
同声传译例子
机器翻译,同声传译,语音翻译原创 2022-01-30 13:05:36 · 487 阅读 · 0 评论 -
RNN可以记忆到很强的位置信息
如下两个图片,无论第一幅中的a(ht),还是第二幅中的u,都很可能会记住RNN中的位置,而非每个时间步所表达的语义。一个极端的现象,a(ht)或者u 都把RNN最后一步的输出的weight 设为1,而其他时间步的输出为0。(1)可以用于文本分类(2)可以用于复述判别...原创 2020-04-10 11:03:32 · 523 阅读 · 2 评论 -
importance sampling(重要性采样)
问题: g(x)已知,为x的函数,p(x)为随机变量x的概率密度函数,p(x)解析式已知,计算g(x)在p(x)分布下的均值(数字特征)。 方法: Ep(x)(g(x))=∫xg(x)p(x)dxE_{p(x)}(g(x))=\int_{x}^{ }g(x)p(x)dx 但是现在的问题是此定积分很难计算,所以需要使用采样的方法。参照p(x)采样N个样本,按照如下方法计算: Ep(x原创 2017-07-07 12:06:44 · 5393 阅读 · 0 评论 -
关于sampling softmax 中重要性采样的论文阅读笔记
首先列出参考资料:word2vec Parameter Learning ExplainedQuick Training of Probabilistic Neural Nets by Importance SamplingOn Using Very Large Target Vocabulary for Neural Machine Translation Adaptive importa原创 2017-07-15 11:56:01 · 4756 阅读 · 7 评论 -
多变量高斯分布之间的KL散度(KL Divergence)
多变量高斯分布之间的KL散度原创 2017-09-22 11:05:10 · 17204 阅读 · 15 评论 -
短文本语义相似度计算
写在开始之前:语义即联系。以下部分来自于我在公司内部的分享。一、相关概念在学术上,大致有以下三个概念和文本相似度相关:Semantic Textual Similarity(文本语义相似度):5分表示非常相似,0分表示非常不相似。Paraphrase Identification(复述判定):1表示是复述,0表示不是复述。Natural Language Inference(自然语...原创 2019-05-22 19:47:30 · 5102 阅读 · 4 评论