![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
读书笔记
changreal
这个作者很懒,什么都没留下…
展开
-
【阅读笔记】机器阅读理解书阅读(上)——基础篇
机器阅读理解书阅读(上)——基础篇 书本来自朱晨光的《机器阅读理解:算法与时间》 文章目录机器阅读理解书阅读(上)——基础篇数据集设计高质量的数据集自然语言处理基础分词中文分词英文分词字节对编码BPE词向量命名实体、词性标注命名实体识别词性标注语言模型NLP中的深度学习词向量到文本向量自然语言理解自然语言生成 (NLG)注意力机制 数据集 设计高质量的数据集 区分基于理解和匹配的模型 SQuAD也基本是依赖文章和问题中文字匹配的,并非基于真正理解文章和问题的意思。所以SQuAD每篇文章后添加依据包含问题原创 2020-05-21 22:48:24 · 917 阅读 · 0 评论 -
【阅读笔记】机器阅读理解(中)——架构篇
文章目录一、MRC模型架构总体架构编码层词表向量字符编码上下文编码交互层互注意力自注意力上下文编码输出层多项式选择答案生成区间式答案自由式答案生成注意力机制的应用拷贝生成机制二、常见MRC模型BiDAFR-net融合网络单词历史全关注注意力总体架构关键词检索与阅读模型(ET-RR)检索器阅读器三、预训练模型与迁移学习基于翻译的PTM——CoVe基于语言模型的ELMo生成式PTM——GPTtransformer多头注意力位置编码残差网络GPT本身划时代的BERT双向语言模型NSP具体任务BERT的改进措施【重原创 2020-05-29 17:21:57 · 1684 阅读 · 0 评论