CNN不要关心模板/filter的参数怎么来，attention不要关心权重怎么来的。神经网络不要关心参数怎么来的。

一些个人想法。

在刚开始学习CNN的时候，很好奇filter的参数是怎么来的。看视频过程中也有人问。实际上我们并不需要关心filter中的参数，只要能做梯度下降，那么我们的目标就是使得loss下降。而filter中的参数自然会变得更有利于loss下降。至于filter卷积后是在提取什么特征，这完全需要我们自己下定义。最近复习attention机制，讲attention的例子时会给人一种权重是事先定好的。比如：一个seq2seq的模型把“机器学习”翻译到“machine learning”。例子会解释说，当生成机器时，应该更关注machine这个单词，按道理说确实是这样。实际上这个权重是训练出来的，如果模型训练得好，权重也应该是更偏向于machine。那是因为这样确实可以使得loss下降。深度学习中，你发现了什么方法，或者什么机制，只要能做梯度下降，尽管实验，如果这种方法能使得效果更好，那么你可以过后来解读它。但是一般而言，我猜想研究者也不会随便就搞出个方法，比如卷积，attention这些应该也是基于一些事实做出来的。卷积在早期图像处理就可以做特征提取，比如边缘提取，锐化。而attention据说也是根据人的大脑来的。比如看书时短时间内也是注意书的局部段落，不会注意整本书。