changreal的博客

记录python常用操作基本操作*args与**kwargs基本操作*args与**kwargs参考：https://blog.csdn.net/yilovexing/article/details/80577510使用场景是：预先并不知道, 函数使用者会传递多少个参数给你, 所以在这个场景下使用这两个关键字。*args 表示任何多个无名参数，它本质是一个 tuple*kwargs 表示关键字参数，它本质上是一个 dict如果同时使用 *args 和 **kwargs 时，必须 *args

文章目录数据格式基本用法格式转换张量操作mask相关数据格式dtype: tensor的数据类型，总共有八种数据类型。其中默认的类型是torch.FloatTensor,而且这种类型的别名也可以写作torch.Tensor基本用法格式转换典型的tensor构建方法：torch.tensor(data, dtype=None, device=None, requires_grad=False)从其他形式转换而来：torch.as_tensor(data, dtype=None, devic

batch normalization与layer normalization索引：NLP中 batch normalization与 layer normalization

文章目录一、MRC模型架构总体架构编码层词表向量字符编码上下文编码交互层互注意力自注意力上下文编码输出层多项式选择答案生成区间式答案自由式答案生成注意力机制的应用拷贝生成机制二、常见MRC模型BiDAFR-net融合网络单词历史全关注注意力总体架构关键词检索与阅读模型（ET-RR）检索器阅读器三、预训练模型与迁移学习基于翻译的PTM——CoVe基于语言模型的ELMo生成式PTM——GPTtransformer多头注意力位置编码残差网络GPT本身划时代的BERT双向语言模型NSP具体任务BERT的改进措施【重

机器阅读理解书阅读（上）——基础篇书本来自朱晨光的《机器阅读理解：算法与时间》文章目录机器阅读理解书阅读（上）——基础篇数据集设计高质量的数据集自然语言处理基础分词中文分词英文分词字节对编码BPE词向量命名实体、词性标注命名实体识别词性标注语言模型NLP中的深度学习词向量到文本向量自然语言理解自然语言生成 （NLG)注意力机制数据集设计高质量的数据集区分基于理解和匹配的模型SQuAD也基本是依赖文章和问题中文字匹配的，并非基于真正理解文章和问题的意思。所以SQuAD每篇文章后添加依据包含问题

文章目录0 预备知识数据集中文MRC任务要点（融合CMRC2018-2019）任务类型数据增强与扩充数据处理文本向量化表达特征融合训练方法预测目标其他：trick & 问题实用工具应用1 冠军：平安金融纲要策略核心连贯性学习SiBert负样本的连贯性非独立性的预测方式文本长度与分词领域迁移消融实验总结2 亚军：顺丰 Mojito System预处理预训练模型预测策略实验结果错误分析3 季军...

MRC 经典模型与技术目录MRC 经典模型与技术预备知识文章和问题表示文档表示模型一：RNN表示模型二：基于注意力的文档的表示问题的表示模型一：RNN表示模型二：基于注意力的问题表示（同上文文档表示）模型三：双向RNN头尾部隐层节点的表示经典AttentionSeg2SegRNN Seg2Seg卷积Seg2SegPositional EncodingNormalizationBatch norm...

1 概述动机中文MRC任务需要分词，但是分词的话利用现有分词工具不可避免地会产生分词错误，从而对下游任务产生影响。而分词问题，可以通过结合local and global context信息来解决（也就是说中文短语在不同的上下文中会有不同的意思），但由于已知的词嵌入比如GloVe、Word2vec是在英语语料上训练的，因此无法根context来产生一个单词的不同分布表示向量。因此，当务之急就...

大纲1 语言模型2 XLNetXLNET好处XLNet 创新点应用3 Transformer-xl3.1 segment-level recurrence mechanism3.2 relative positional encoding4 Bert阶段1：语言模型阶段2：fine-tune5 GPT6 ELMo7 其他7.1 迁移的2种方法7.2 零碎7.3关于MASK1 语言模型1.1 ...

结合XLNet结合了Bert、GPT 2.0和Transformer XL它通过PLM预训练目标，吸收了Bert(AE)的双向语言模型；GPT2.0更多更高质量的预训练数据，这也被XLNet吸收进来；引入Transformer XL来解决Transformer对于长文档应用不好的问题XLNet 四个好处结合AE优点，PLM获取双向语义信息（对token级别的任务如RC\QA很重要...

如图，模型基本结构是BERT，是model，而BERTLM集成了Bert,NSP,MLM，是模型结构的核心。在数据的处理中，核心是BERTDataset训练或者评估的时候，调用了BERTTrainer，他使用了BertDataset的数据来进行训练与迭代...

介绍论文地址：Attention-over-Attention Neural Networks for Reading Comprehension参考博文：https://www.imooc.com/article/29985https://www.cnblogs.com/sandwichnlp/p/11811396.html#model-4-aoa-reader数据集：CNN&...

来源参考博客：机器阅读理解（看经典MRC模型与花式Attention）CNN&Dailymail：Teaching Machines to Read and Comprehend论文： Teaching Machines to Read and Comprehend简介数据库：CNN&Dailymail任务类型：完型填空神经网络模型：Attentive Rea...

KT-NET——Knowledge and Text fusion NETKBs ：WrodNet + NELL ; distrubuted representations of KBs(KB embeddings).WordNet:记录了lexical relations, 比如(organism, hypernym of, animal)NELL:stores belief...

Attention Sum Reader Network数据集CNN&DailyMail每篇文章作为一个文档（document），在文档的summary中剔除一个实体类单词，并作为问题（question），剔除的实体类单词即作为答案（answer），该文档中所有的实体类单词均可为候选答案（candidate answers）。其中每个样本将文本中所有的命名实体用类似“...

Abstract和介绍论文特点：引入了external commonsense knowledge, encode as key-value memory，并把知识和context representation(document-to-question)来answer；数据集是Common Nouns dataset；CBT(common and named entities)知...

1. 简要介绍模型创新点：（一）移除了RNN，核心就是卷积 + self-attention。这样使得训练更快，相应地模型能使用更多的训练数据。Convolution capture the local structure of context(local interactions), self-attention models global interactions。两者相辅相成，不可替...

1 Introduction过去的MRC技术的特点：hand-crafted rules or features缺点Incapable of generalizationperformance may degrade due to large-scale datasets of myriad types of articlesignore long-range dependencies...

0 一些术语tranductive transfer 直推迁移学习inductive transfer 归纳迁移学习sample transfer learning 样本迁移学习1 Introduction对于归纳迁移学习：(2013)年的fine-tuning pre-trained word embeddings 迁移技术只针对模型第一层，但是有很大的影响，大多先进模型都用了它。...

0 摘要represents the context at different levels of granularityuses bi-directional attention flow mechanism to obtain a query-aware context representation without early summarization1 introduce先前工...

Abstract核心思想： generative pre-training + discriminative fine-tuning1 Introduction为了获取更多annotation，利用linguistic info从unlabeled data中学习，这很有价值，减轻了对NLP中监督学习的依赖，毕竟许多domains缺乏annotated resources，并且用无监督学习学...

Abstract介绍一种新型的深度语境化(deep contextualized)词表示：模拟了复杂的词特征的使用(例如，语法和语义)模拟了词在不同语境中的使用（use vary across linguistic contexts）其他要点：这个词向量是一个深度双向语言模型(biLM)内部状态的学习函数(vectors are learned functions of the i...

http://naotu.baidu.com/file/d071cf1eb5b25bf39b66bc239bc3d735?token=8b4f732e6e75fe05

在阅读本文之前，关于self-attention的详细介绍，比较全面的transformer总结之前copy的这篇文章，有了self-attention的基础之后再看这篇文，感觉就容易了。这篇总结主要基于论文。文章目录1 Introduction2 Background3 Model Architecture3.1 Encoder and Decoder Stacks3.2 Attention...

self-attention与transformer讲解论文：attention is all you need.参考1.完全参考这篇博客，讲的非常好！本总结只是复述。2.还参考了知乎的这篇文章，作为补充文章目录参考1 self-attention具体1.1 过程1.2 矩阵的self-attention1.3 Scaled Dot-Product Attention2 transf...

Machine Reading Comprehension(主要是NRC)MRC：数据集与技术——主要是神经阅读理解数据集（详细数据集见论文 or 笔记图）抽取答案数据集: triviaQA\ SQUAD1.0/2.0; triviaQA; WIKIHOP(multi-hop reasoning)描述性 descriptive：NarrativeQA\unanswerable ques...

Attention总结二：涉及论文：Show, Attend and Tell: Neural Image Caption Generation with Visual Attentio（用了hard\soft attention attention）Effective Approaches to Attention-based Neural Machine Translation（提出...

0 Attention背景知识总结encoder-decoder这part的背景来源于这篇：https://blog.csdn.net/u012968002/article/details/78867203 这篇attention文章讲解的很好。encoder-decoder中，将输入句子通过非线性变换转化为中间语义表示C，对于解码器Decoder来说，其任务是根据句子Source的中间语义...