- CNN,卷积,其实就是映射,这个空间,映射到另一个空间。然而,卷积的移动,这个很有趣。就像是我们所处的时间,其实是有时间这个维度的,但是我们感受不到。但是这个卷积的移动,就把时间的这个维度,也映射到了另一个空间!
- Batch取全部时,看到的是只有一个曲面,速度快,但不是最优。所以,有小一点的batch,随机性。但是,只取一个的时候,SGD,随机性有时会很大,难以收敛
- CNN,多少个output channel,对于每个input channel,就有多少个卷积核。不同input channel的卷积核是不一样的
- RNN,做encode decode,以翻译的为例子,可以这么理解,encode,接受的是原始的文本的时序,一套W1;decode,输出的是翻译的文本,一套W3;这两个中间,会有一套encode到decode的转换,一套W2
- CNN + LSTM,视频处理,每一帧用CNN,抽取出来特征,作为LSTM的输入
- Softmax,一个三分类;logistics,三个二分类;即Softmax时权重会相互影响。而且,其实logistics是Softmax的一个特例,化简下差不多。为何什么取e?貌似跟高斯有关,假设正负样本都是高斯分布,极大似然?
CNN RNN 杂想
最新推荐文章于 2022-07-26 18:03:19 发布