学习周报20191109 | LM，term weighting

最新推荐文章于 2024-03-29 17:01:54 发布

机智的叉烧

最新推荐文章于 2024-03-29 17:01:54 发布

阅读量490

点赞数 2

本文链接：https://blog.csdn.net/baidu_25854831/article/details/102994260

版权

【学习周报】

总结自己的学习和遇到的好材料。

往期回顾：

language model

语言模型现在似乎是NLP的主战场，multitask的思想在语言模型辐射下游上展现的淋漓尽致，BERT前后也有很多算法被抬上或者推下神坛，那么里面的代表模型主要都有哪些，我这里总结一下论文，供大家参考和分析。

Word2vector：这里涵盖的论文比较多，我之前其实也提到了这篇论文，下面给出我的链接：NLP.TM | 再看word2vector
GLoVe：一个基于共现矩阵的全局词向量模型，同样被称为经典，尝试使用过，效果不错：NLP.TM | GloVe模型及其Python实现
ELMo：引入双向语言模型概念，将深度学习格式正式引入到ELMo，形成真预训练模型的格式，在elmo视角下，之前的w2v一流只能说是预训练词典，从这个角度看，ELMo有很大贡献：Deep contextualized word representations
GPT：引入了Transformer模型，打败了ELMo的BiLSTM，Improving Language Understanding by Generative Pre-Training
GPT2：很多人会拿GPT2和BERT去对比，与BERT的一大核心区别是用decoder而非encoder，当然还有很多细节变化吧，此处不赘述，看论文好吧：Language Models are Unsupervised Multitask Learners
BERT：终于到BERT了，可谓是NLP的一个大的里程碑吧（其实我上面列出来的都是），说到思路值得大家琢磨吧，奉上论文：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
albert：没有想象中的轻量级吧，但是缩小是肯定的：ALBERT: A LITE BERT FOR SELF-SUPERVISEDLEARNING OF LANGUAGE REPRESENTATIONS
T5：很喜欢这个作者的命名风格，T5和C4哈哈哈。T5更像是把一些trick进行分析，并根据实验总结得到的，几十页论文里面大半是实验和实验材料，这种实验其实在科研上是有必要的，在现在零件化的深度学习模式，那个结果好，更换零件调整的实验，其实是很重要的：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
XLNet：在BERT上有所改进吧，这是我看的挺欣慰的地方，敢于突破，当然的，水论文又可以在水BERT之后再水一篇XLNet了，快乐就完事：XLnet: Generalized Autoregressive Pretraining for Language Understanding
ELECTRA：还没看完，还在看，但是看到有generator和discriminator的时候，很惊喜，虽然还是seq2seq的底层思路，但是相比bert后续，这个算是比较新的思路了，这点突破很有意思：ELECTRA: PRE-TRAINING TEXT ENCODERS AS DIS-CRIMINATORS RATHER THAN GENERATORS。

上述流程下来，其实感觉收获不少，总结几点个人想法：

了解模型变迁，了解大家的思路变化和趋势。
大模型不是趋势，但大语料还是挺重要的。

有关这块的细节，我会再写文章总结，敬请期待！

term weighting

工作相关，学习方向相关，所以做调研是必须的，这是我捡到比较好的材料：

刘知远：基于文档主题结构的关键词抽取方法研究。另附知乎：https://www.zhihu.com/question/21104071/answer/121576297
搜索中词权重计算及实践：http://www.bubuko.com/infodetail-2859295.html
NLP之关键词提取：https://blog.csdn.net/qq_38923076/article/details/81630442
机器之心 | 如何做好文本关键词提取？从三种算法说起：https://www.jiqizhixin.com/articles/2018-11-14-17
学习笔记 — 关键词提取：https://www.jianshu.com/p/837539f116d8
query term weight计算：https://blog.csdn.net/madman188/article/details/51855265
美团点评旅游搜索召回策略的演进：https://tech.meituan.com/2017/06/16/travel-search-strategy.html
《美团机器学习实践》：P134，8.3.5词权重与相关性计算

有关的总结我已经撰文搞定啦，大家可以去看看。