![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
SaoYear
音频AI方向在读PhD 欢迎随时交流
展开
-
NLP(自然语言处理) - Tricks & Dataset 集合
前言这是一篇NLP tricks的集合,在自然语言处理的模型中,有很多优化模型效果的技巧,其中很多技巧已经称为默认设置,不再文章中额外说明。这里持续更新一些方法作为记录。技巧列表前言Weight AverageAdaptive EmbeddingVariational DropoutWeight AverageWeight Average是一种自动集成方式,指的是在最终进行模型测试前,取前面每个checkpoint模型权重的平均值作为最终的测试模型。Adaptive EmbeddingAdapt原创 2020-07-01 16:10:38 · 1021 阅读 · 0 评论 -
NLP(自然语言处理):Improving Neural Language Modeling via Adversarial Training 通过对抗噪音提升神经语言模型
文章目录前言0. 摘要(Abstract)1. 引言(Introduction)2. 背景:神经语言模型(Neural Language Model)前言本篇文章来自Dilin Wang et al. 于2019年发表的文章:Improving Neural Language Modeling via Adversarial Training. 文章通过引入对抗模型的方式缓解了低频词的训练问题。0. 摘要(Abstract)近年来,深度学习的应用在语言模型的提升上带来了明显的提升。然而,在实现过程中原创 2020-05-11 22:56:09 · 742 阅读 · 0 评论 -
NLP(自然语言处理):Representation Degeneration 表达退化
表达退化问题是由多伦多、微软、北大的Jun Gao et al. 共同在2019年的ICLR大会上提出的问题,其主旨在训练神经网络时出现的词向量表达退化的问题。本篇文章基于其发表的论文 [Representation Degeneration Problem in Training Natural Language Generation Models](https://arxiv.org/pdf/1907.12009.pdf). 本文旨在首先**翻译文章**,其次结合一些**实例**进行分析。原创 2020-05-06 17:02:24 · 1804 阅读 · 0 评论 -
NLP(自然语言处理):词的表示(Word representation)
Nature Language Processing:自然语言处理本文为斯坦福课程CS224N的课堂笔记。极力推荐入门NLP的朋友阅读此课,因为课件完整,b站有搬运,同时还有作业,可以一边实践一边做。b站自查:CS224N* 前两个lecture主要是一些基础的入门与介绍,我直接使用笔记,后面的内容将会更加详细。** 老师有时候会布置一些作业,这些作业有的没有答案,我也会分享在这里,如...原创 2020-03-08 15:20:03 · 3806 阅读 · 0 评论 -
KL散度:来源,详解与交叉熵关系
KL散度的概念来源于信息熵,有关信息熵的概念在这里进行了讲解。在NLP的优化中,因为语言模型的损失函数基础,是一个由分布构成的方程(Softmax),所以在相关的论文中,可能会遇到使用KL散度对损失函数进行优化的情况,我们经常看到的KL散度形式如下:这个方程是什么意思呢,下面我们开始介绍KL散度。...原创 2020-03-07 02:49:52 · 1551 阅读 · 0 评论 -
信息熵:什么是信息熵?
KL散度是机器学习中经常会遇到的度量方法,它度量了两个分布之间的距离,它来源于信息熵,也是香农信息论的产物之一。在NLP的优化中,因为语言模型的损失函数基础,是一个由分布构成的方程(Softmax),所以在相关的论文中,可能会遇到使用KL散度对损失函数进行优化的情况,我们经常看到的KL散度形式如下:<center>这个方程是什么意思呢,下面我们开始介绍KL散度。信息熵...原创 2020-03-06 22:01:20 · 9163 阅读 · 0 评论 -
SVD 奇异值分解:SVD理解与word embedding
在研究NLP的过程中,遇到了word embedding, 经过一系列学习,发现它最初的原理之一来自奇异值分解。于是对奇异值分解做一个简单的记录。资料中比较好的资料:https://www.cnblogs.com/endlesscoding/p/10033527.html 原理讲解简单,demo做的十分好!https://www.cnblogs.com/litaotao-doctor...原创 2020-02-29 18:14:36 · 1174 阅读 · 0 评论