aj666aj的博客

NMT中的一个问题 problem: 输入的句子长短不一，如果要将所有的长短的输入都提炼为同样长度的向量，是比较难的。 solution： 实际工程中较多的会通过堆叠RNN来解决不定长的input sentences的问题 CS224n Assignment4: 通过找出最长的句子，再将其他所有的句子都扩充至这一长度来达到input sentences等长的效果。 python文档 Library Reference标准库参考：标准库中的API在这里有定义和注释 Language Referen

CS224n-2019的第八讲《Neural Machine Translate， seq2seq with Attention》 Machine Translate历史 Statistics MT这是基于统计的机器翻译，核心思想是最大化一个概率分布，最终拆分成两个部：一是翻译模型，二是语言模型。（这块没有弄懂）其中需要大量的人工操作，非常的复杂。之前的google翻译就是基于SMT的。 Neural MT这是一个seq2seq结构，单个神经网络，使用到了两个RNN网络。 NMT神经网络结构

20210322总结 Linux系统上pytorch环境的配置 需要GPU的时候，在具备GPU硬件的前提下，首先需要下载GPU相应版本的驱动程序（diver）以及CUDA。CUDA可以理解为GPU相关的API，pytorch能够自动调用这些接口来应用GPU。cat /usr/local/cuda/version.txt可以查看已安装CUDA的版本。 安装torch、torchvision、torchaudio库。这一步在pytorch的官网会提供不同版本相应的命令，主页默认为最新的版本，如果需要旧版本，

20210318总结 论文《Graph Convolutional Network with Sequential Attention for Goal-Oriented Dialogue Systems》(应用顺序注意力的图神经网络在任务型对话系统中) 单领域的对话系统有三种输入： 该领域相关的知识库 对话历史，这是一系列的自然语言表达 用户最新的回复，这也是自然语言表达，通常叫做Query因为要根据这个条件来生成系统回复 本篇文章关注的两个亮点 知识库中实体之间的关系，这是一张知识图谱 对话自然

每天小结 多领域对话系统槽值的稀疏型问题： 由于领域增多槽位随之增加，导致槽值之间的组合情况明显增多。直观上来看就是分母变大了，而实际上槽值的组合情况并没有那么多，相当于分母成指数型增长，但分子成线性增长，造成稀疏性问题。如果说不考虑槽位之间的联系，独立预测槽位的值就会导致所有可能的情况（分母）为各个槽值个数相乘的结果。 LSTM & GRU LSTM长短期循环网络：遗忘门、输入门、输出门 GRU：重置门、更新门 残差项 残差项就是加一个数（比如解决梯度消失的问题可以通过加入一个小的数值来