qq_53982314的博客

深度学习是一种机器学习。深度学习使用深度神经网络，这些网络由多个神经网络层组成，每个层都包含许多神经元。深度神经网络的层数和参数量通常很大，使其能够处理更复杂的任务和大规模数据。一般用于二分类，但是饱和时，梯度会消失；f(x,W)=Wx+b ，训练改变w，使损失函数L的值最小。从输入 -》到输出的映射 f(x,W)。数据决定了模型的上限，预处理和特征提取是核心。但是当x<0时无法学习。使用了非线性的激活函数。深度学习解决了如何去提取特征的问题。解决了relu的问题。

machine translation包括两个步骤：绿色的encoding，紫色的deconding。声波图 -》 注意力机制网络（双向的LSTM）语言模型和翻译模型。绿色将输入的语句编码并记忆，然后输入紫色。将概率相乘改成log概率相乘。

将它们的embedding放入隐藏层训练后，最后进入10k的softmax层。谁的概率更高，则更可能是谁。（softmax最大值对应的词）softmax的输出时10k维。average为计算4个300维度的词向量的相加后平均值，依旧是300维。如果一个句子的长度太长，可以选择固定的窗口，使得这个词的前后固定词语数量作为它的上下文来推测。（如果u，t相似时，u，t的内积将会最大，即sim=1，而cos在角为0度时为1，90度时为0.）选择一个词语i在预测词语j出现的频率为xij。随机选择一个词语作为上下文。