lppfwl的博客

这两天在网上找了很多博客资料看，有些博文写的很好，但总感觉还是漏了一点东西，让我一直有些地方搞不懂，最终还是看了原论文（偷懒不行啊。。。）。这里就记录一下我的理解，肯定还是有不全的地方，仅供参考。先附上原论文：https://paperswithcode.com/method/xlnetpytorch版本代码：https://github.com/huggingface/transformers/blob/master/src/transformers/models/xlnetXLNet提出的目的就是

最近学习了2018年的模型ELMo：Deep contextualized word representations，这里作一下笔记和我个人的理解原论文链接：https://paperswithcode.com/method/elmo在介绍ELMo之前顺便回顾一下RNN和LSTM，刚好也做个总结笔记RNN和LSTMRNNRNN就是循环神经网络，下面一张图就很清晰了。当前时刻的输出状态ht依赖于上一时刻的输出状态ht-1和当前时刻的输入xt，具体的公式如下：ht=tanh(W[ht-1,xt]+

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding2019年goole AI发表的文章，附上原文：https://paperswithcode.com/method/bertpytorch版本代码：https://github.com/huggingface/transformers/tree/master/src/transformers/models/bertBERT名字由来: Bidir

Transformer：Attention is all you need ，谷歌2017年针对机器翻译推出来的模型，是后面GPT、BERT等发展的基础模型。附上原论文：https://paperswithcode.com/paper/attention-is-all-you-need?Transformer提出了一种全新的NLP模型架构，模型的全部重点都在于attention机制，完全不同于以往的RNN和CNN。先上模型结构图，接下来就根据这张图进行一点点的解析。Transformer模型由两部分组

最近看了GPT系列模型，这里特此做一下学习记录和个人思考，先附上三个模型的论文：GPT：https://paperswithcode.com/method/gptGPT2：https://paperswithcode.com/method/gpt-2GPT3：https://paperswithcode.com/method/gpt-3下面逐一进行介绍：GPT一句话就是：预训练+微调作者指出：无标签的文本语料很丰富，但是针对特定任务的有标签文本数据很稀少，导致针对特定任务来训练一个准确的模型很

问答系统性能的评价指标MAP、MRR、Accuracy@NMAP(mean average precision)即平均准确率，系统对所有候选答案进行评分，并按分值大小进行排序，正确答案越靠前，MAP值就越大计算方式如下：参考：https://www.jianshu.com/p/e1664861bc9d比如共有三个问题，问题1有3个直接相关的答案，问题2有2个直接相关的答案，问题3有4个直接相关的答案。系统返回的答案中，问题1的3个答案的排序为1，3，5；问题2的2个答案的排序为2，3；问题3的4

TANDA: Transfer and Adapt Pre-Trained Transformer Models for Answer Sentence Selection论文地址：https://paperswithcode.com/paper/tanda-transfer-and-adapt-pre-trained这篇论文提出了一种预训练transformer模型的迁移和自适应的算法，并且提出了ASNQ数据集。1.介绍一般的迁移学习都是将预训练模型在目标问题数据集上进行一次微调即可，而这篇文章提