mathor的博客

T(n)=aT(bn​)+f(n)where a≥1,b≥1(n)Let T(n)n​f(n(n)=Θ(nc)clogb​aT(n)=Θ(f(

这篇博客梳理了NLP对抗训练发展的来龙去脉，介绍了对抗训练的数学定义，并对于两种经典的对抗训练方法，提供了插件式的实现，做了简单的实验对照。由于笔者接触对抗训练的时间也并不长，如果文中有理解偏差的地方，希望读者不吝指出。另外还有一些对抗训练算法，读者有兴趣可以查看一文搞懂NLP中的对抗训练以及对抗训练的理解，以及FGM、PGD和FreeLB的详细介绍这两篇文章。

在训练模型的时候，我们需要将损失函数一直训练到0吗？显然不用。一般来说，我们是用训练集来训练模型，但希望的是验证机的损失越小越好，而正常来说训练集的损失降到一定值后，验证集的损失就会开始上升，因此没必要把训练集的损失降低到0既然如此，在已经达到了某个阈值之后，我们可不可以做点别的事情来提升模型性能呢？ICML2020的论文回答了这个问题，不过实际上它并没有很好的描述"为什么"，而只是提出了"怎么做"

最近了解到一种称为""的BERT模型压缩方法，源自论文。这是一种以"可替换性"为出发点所构建的模型压缩方案，相比常规的剪枝、蒸馏等手段，它整个流程显得更为优雅、简洁。

词向量的维度大概多少才够？先说结论，苏剑林大佬给出的估算结果是n>8.33logN(1)更简约的话可以直接记n>8logN，其中N是词表的大小，n是词向量的维度。当n超过这个阈值时，就说明模型有足够的容量容纳这N个词（当然n越大过拟合风险也越大）。这样一来，当N=100000时，得到的n大约是96，所以对于10万个词的词向量模型来说，维度选择96就足够了；如果要容纳500万个词，那么n大概就是128。

其中苏剑林大佬关于第四个问题的回复，给我产生了一些思考。为什么一个分布在多次Softmax之后，每个值会趋于相同？例如[1,100]在大约10次Softmax操作后会变成[0.5,0.5]；[1,2,3,4]大约5次Softmax操作后会变成[0.25,0.25,0.25,0.25]苏剑林大佬的原话是：“这其实是一个没什么实用价值的结果，因为对Softmax的结果再次进行Softmax没有什么物理意义”。不过我还是本着好奇的心态看完了他对于这个问题的证明，感兴趣的同学直接看即可。

要说2021年上半年NLP最火的论文，想必非《SimCSE: Simple Contrastive Learning of Sentence Embeddings》莫属。SimCSE的全称是Simple Contrastive Sentence EmbeddingSentence Embedding一直是NLP领域的一个热门问题，主要是因为其应用范围比较广泛，而且作为很多任务的基石。获取句向量的方法有很多，常见的有直接将[CLS]位置的输出当做句向量，或者是对所有单词的输出求和、求平均等。但以上方法均被证明

对比损失（Contrastive Loss）中的参数τ是一个神秘的参数，大部分论文都默认采用较小的值来进行自监督对比学习（例如0.05），但是很少有文章详细讲解参数τ的作用，本文将详解对比损失中的超参数τ，并借此分析对比学习的核心机制。ττ。

本文将介绍一种用于分类问题的后处理技巧（Trick），出自EMNLP 2021 Findings的一篇论文《When in Doubt: Improving Classification Performance with Alternating Normalization》。经过实测，CAN（Classification with Alternating Normalization）确实多数情况下能提升多分类问题的效果（CV、NLP通用），而且几乎没有增加预测成本，因为它仅仅只是对预测结果的重新归一化操作有

这篇论文刚读的时候觉得很厉害，但了解之后就觉得这其实就是一个反向传播版的Dropout，实际的创新并没有特别大，包括其中提到的Fisher信息也并不是这篇论文提出来的。再就是论文中的实验确实很多，实验结果表明，相比于Fine Tuning大约可以提升1.5～8.6个点不等。最后要说一下这篇论文的公式证明部分，我个人觉得这篇论文的证明其实没有很严谨，例如为什么一个矩阵的期望就变成一个数了。总的来说这个方法可以作为打比赛时候的一个Trick来使用。

本文对大部分人来说可能仅仅起到科普的作用，因为Gumbel-Max仅在部分领域会用到，例如GAN、VAE等。笔者是在研究EMNLP上的一篇论文时，看到其中有用Gumbel-Softmax公式解决对一个概率分布进行采样无法求导的问题，故想到对Gumbel-Softmax做一个总结，由此写下本文整个过程相当于我们把不可导的取样过程，从z\mathbf{z}z本身转移到了求z\mathbf{z}z的公式中的一项gig_igi​中，而gig_igi​本身不依赖p1,..,p。

实际上前面已经把这篇论文讲的很清楚了，这里没有什么好总结的，但我倒是有一点个人拙见想和大家讨论一下，因为他做MLM任务时，将整个Vocabulary都作为候选集，这样无论是对计算速度还是显存占用都不是很友好，我觉得可以将其改为取出概率最大的前Top k个token，这个k可以取的稍微大一点，例如200, 300等，这样可以保证取到后面一些语义上不那么相近的token的同时，避免对整个Vocabulary进行运算，至少不会生成几万几十万那么夸张的概率分布。

本文主要创新点是作者提出了可以替代MLM的5个新的预训练任务，因为MLM是token级别的，所以这5个任务也是token级别的。明年EMNLP会不会有人提出sentence级别的，用于替代NSP/SOP的预训练任务呢？，简单到令人沮丧的xxxx，这种标题在我印象中已经看到好几次了，有一种标题党的感觉。

这篇论文提出了一种有选择性的文本扩增方法。具体来说，论文设定了四种角色，并且将每个单词分配为一个角色，面对不同的扩增手段，对不同角色的单词进行操作。这样可以有效地避免信息损失，并且生成高质量的文本数据。

本文提出的Y-Tuning思路非常有意思，传统思路是对输入句子进行学习，使其输出向量靠近标签的分布；而这篇文章正好相反，对标签进行学习。让我有些意外的点是，损失函数并不是传统的CrossEntropyLoss，因为在我看来就直接将输出向量转换维度之后与真实标签进行对比就好了。但是论文使用的损失函数是Triplet Loss，不知道为什么作者为什么要这样做。

这篇文章本质上来讲，可以看作是多目标联合训练，除了传统的分类任务，引入了一个新的任务，这个任务的目标是希望两个句子的相似度与它们预测概率分布的相似度比较接近。反映到损失函数中来看就是在传统损失的后面添加了一项。阅读完这篇论文之后，说实话我不太确定它能否被ACL录用。

ICML2020的论文《Do We Need Zero Training Loss After Achieving Zero Training Error?》提出了一种Flooding方法，用于缓解模型过拟合，详情可以看我的文章《我们真的需要把训练集的损失降到零吗？》。这里简单过一下，论文提出了一个超参数bbb，并将损失函数改写为L~(θ)=∣L(θ)−b∣+b(1)\tilde{\mathcal{L}}(\boldsymbol{\theta}) = |\mathcal{L}(\boldsymbol{\

三位韩国人在EMNLP 2021 Findings上发表了一篇论文，名为Devil’s Advocate: Novel Boosting Ensemble Method from Psychological Findings for Text Classification，其中Devil’s Advocate有一部同名电影，翻译过来叫「魔鬼代言人」，他们主要挑战的是传统模型融合的方法，例如硬投票(Hard-Voting)、软投票(Soft Voting)、Bagging等。源码在HwiyeolJo/Devi

我们在训练神经网络的时候，超参数batch_size的大小会对模型最终效果产生很大的影响，通常的经验是，batch_size越小效果越差；batch_size越大模型越稳定。理想很丰满，现实很骨感，很多时候不是你想增大batch_size就能增大的，受限于显存大小等因素，我们的batch_size往往只能设置为2或4，否则就会出现"CUDA OUT OF MEMORY"(OOM)报错。如何在有限的计算资源下，采用更大的batch_size进行训练，或者达到和大batch_size一样的效果？这就是梯度累加（

今天的这篇文章源自于EMNLP 2021 Findings，论文标题为《AEDA: An Easier Data Augmentation Technique for Text Classification》。实际上用一句话即可总结全文：对于文本分类任务来说，在句子中插入一些标点符号是最强的数据扩增方法AEDA Augmentation读者看到这肯定会想问：添加哪些标点符号？加多少？对于这些问题，原论文给出了非常详细的解答，同时这部分也是论文唯一有价值的地方，其他部分的文字叙述基本是在说一些基础概念，或