2020.11.23~28周报

机器学习基础

• 分类： 监督 无监督 半监督
• 模型与参数

深度学习基础

• 神经元 神经网络
• 损失函数(值越小说明模型拟合效果越好) 梯度下降和反向传播(偏导以及复合函数求导法则)
• 全连接神经网络、卷积神经网络(CNN)、循环神经网络(RNN)、丢弃
• 一本相关书籍链接《Neural Networks and Deep Learning》

深度学习框架PyTorch

• PyTorch中文文档学习–张量tensor及其各种运算
• 文档链接PyTorch文档

机器阅读理解的前两章

• 第一章介绍了机器阅读理解，其现状以及应用到的技术
• 第二章围绕自然语言最基本的部分“词”展开，提出中(逆向最大匹配算法)英(空格分词结合正则表达式、BPE不依赖词表-子词)文分词算法，词的向量化(旨在表示出词的意义-Word2vec词向量-试图通过与附近词的联系来标识词的意义)呈现一种计算机认得的词的表达方式，命名实体的识别(深度学习模型)和词性标注(Viterbi算法动态规划解决词性概率最大化的问题)可提高回答问题的准确度和效率，N元模型为经典的语言模型(刻画自然语言的生成概率，基于统计，用拉普拉斯平滑解决次数或分母为零的问题)可通过困惑度来评测。

读论文听讲座

• 主要阅读了《Context-Aware Answer Extraction in Question Answering》其针对问题关键词在文章中出现多次的实际情况提出了一种解决方案–预测与答案相关的上下文情境的位置(基于单词距离软标签)从而确定原文中答案的位置。

• 入组，听师兄讲论文过程中对《What do Models Learn from Question Answering Datasets?》这篇论文印象非常深刻，这篇文章既不是讲方法优化的，又没有提出新的数据集。作者设计了很多实验，结果说明模型回答数据集问题的轻微变异体和反义变异体时，答案的正确率并没有非常显著的下降。作者通过他的实验结果提出了我们的模型到底在数据集里学习到了什么的问题，发人深省，让我们意识到当下的模型离真正的智能还相差甚远。