CNN RNN 杂想

• CNN，卷积，其实就是映射，这个空间，映射到另一个空间。然而，卷积的移动，这个很有趣。就像是我们所处的时间，其实是有时间这个维度的，但是我们感受不到。但是这个卷积的移动，就把时间的这个维度，也映射到了另一个空间！
• Batch取全部时，看到的是只有一个曲面，速度快，但不是最优。所以，有小一点的batch，随机性。但是，只取一个的时候，SGD，随机性有时会很大，难以收敛
• CNN，多少个output channel，对于每个input channel，就有多少个卷积核。不同input channel的卷积核是不一样的
• RNN，做encode decode，以翻译的为例子，可以这么理解，encode，接受的是原始的文本的时序，一套W1；decode，输出的是翻译的文本，一套W3；这两个中间，会有一套encode到decode的转换，一套W2
• CNN + LSTM，视频处理，每一帧用CNN，抽取出来特征，作为LSTM的输入
• Softmax，一个三分类；logistics，三个二分类；即Softmax时权重会相互影响。而且，其实logistics是Softmax的一个特例，化简下差不多。为何什么取e？貌似跟高斯有关，假设正负样本都是高斯分布，极大似然？