渣渣宇不懂NLP

Part I：背景知识Part II：Attention形式Part III：具体Task分析Part I：背景知识这张图很是出名了，第一个将Attention用在NLP领域的论文，机器翻译，在每一步翻译的时候都关注不同的原文信息。Attention机制可以理解为一种文本聚焦方法，基本思想是对文本分配注意力权重，把注意力集中在相关的文本内容，增加这部分的贡献。Attenti...

1 RNN的演变语言建模是预测下一个单词的任务，即给出一个单词序列，计算下一个单词的概率分布：                                                                1.1 n-gram语言模型the  students  opened  their  ______• unigrams:    “the”,    “stu...

CNN原理对应位置做乘法然后相加：第一列滑动窗格 * 中间第一个filter=右边第一个矩阵(1)、右边是含有两个filter即两个神经元(下边还包括bias等参数)，参数数depth=2。可知3*3滑动窗，且Stride=2(2)、每个神经元之所以各有三个小矩阵，是因为有RGB三个通道同时过滤计算(3)、输入的数据之所有周边赋予0，是因为Zero-Padding参数填充0值如何用在文...

一、如何定义一个好的对话尽管SEQ2SEQ模式在对话生成方面取得了成功，但仍出现了两个问题（图1）： 通过使用最大似然估计(MLE)目标函数预测给定会话上下文中的下一个对话转角来训练SEQ2SEQ模型。SEQ2SEQ模型倾向于生成概率较大、高度通用的回答，比如“我不知道”，而不管输入是什么。然而，“我不知道”显然不是一个好的行动，因为它结束了谈话。 系统被困在一个无限循环的重复...