陋室快报 | 近期好文分享-20211127

陋室快报

陋室快报是对陋室推荐栏目更新优化后的版本，更快更准的给大家推荐优质信息，频率预计是一周一次。敬请关注。栏目介绍：陋室快报栏目介绍。

近期，我再次总结了我的历史文章，累积起来有50w字，百余篇文章了，有兴趣可以拿来看看，获取方式：七夕清流，百余篇累计50w字文章合集发布。

往期回顾：

• 陋室快报 | BERT学习指导-20211026

• 陋室快报 | BERT主流衍生语言模型-20211106

• 陋室快报 | 对比学习热文-20211115

• 陋室快报-语义表征的突破口——人脸识别-20211121

• 陋室快报 | 算法工程师的常用数据工具-20211127

21年最后一个月，灵魂拷问：今年的目标完成多少了？

这周不专题了（专题是真的耗素材。。。），来聊最近我看的几篇好文章吧。

2021召回技术在内容推荐的实践总结

链接：https://mp.weixin.qq.com/s/yi0_Pg-RnqTG9WTnzJzTsw

介绍了有关内容推荐上比较前沿的技术上所面临的问题，并给出了解决方案，写的很好很全，感觉里面写的很多点也适合出论文，对思路的拓宽其实非常有好处。但这都是不是我想推荐的点，我觉得比较值得琢磨的是作者在问题的洞察、定位和归因的思路也挺有意思，虽然没有直接表明但是在文章的很多细节里其实有所表示，说匠心独具一定毛病都没有，这方面也非常值得大家在阅读完第一次之后开始反思和品味，并持续研读。

Pre-training Methods in Information Retrieval

链接：https://arxiv.org/abs/2111.13853

来自清华大学计算机系和清华大学计算所联合出品的有关预训练模型在信息检索上的使用综述，几十页近百页的总数，指的当做教材来阅读吧，当然文章的介绍还是比较粗略的，对方法的细节还是建议以综述为索引找具体论文展开阅读。很早之前我就有聊到，做科研，综述绝对是救星级别的存在，有了综述，你能快速以综述为中心找到领域相关的论文，让你快速熟悉和学习。当然，对做应用落地的各位同样有好处，至少科研前沿信息能尽掌手心。

Dropout视角下的MLM和MAE：一些新的启发

链接：https://kexue.fm/archives/8770

苏神的文章不需要多说，都是精品，dropout这东西的进一步研究，让大家对模型的波动和鲁棒性理解进一步加深。MAE是最近何凯明老师的新作，把MLM任务放到图像预训练上了，而苏神把MAE作为一种特殊的dropout，这个视角下MAE是一个抗过拟合的新方式，当然了通篇看下来这个和我们用丢词做数据增强非常类似，只不过前者有保留被丢词汇的位置而已，有点好奇的是，这两者之间的效果差距并不清楚。

小蜜团队万字长文 | 讲透对话管理模型最新研究进展

链接：https://zhuanlan.zhihu.com/p/100825157

知乎上小蜜团队对对话管理模型研究进展的综述，讲解了对话系统中对话管理的一些热点和关键的研究问题，这些问题也给出了很多解决方案，文章读起来会感觉作者对这个领域的掌控程度非常高，很多很痛的痛点都理解的很深，这个难度切实是不小的，读完感觉自己对这个问题的理解能比较深也比较全面，所以很有收获。

early exit做bert加速

链接：https://www.zhihu.com/question/440277877/answer/2176802151

我之前是真没听说这个领域，粗看感觉还是个方向，论文也不少，文章有github，里面总结了大量有关领域的论文。熟悉我的读者应该知道，我一直因为性能问题对bert持谨慎态度的，所以这种思路和方向我一直比较关注，大家也可以看看，有没有新的发（shui）论文的点吧。