深度学习每日学习0808--003

池化层：压缩/下采样，eg最大池化（在每一个block里选取最大值）、平均池化；

基本都是采用最大池化，最有效；

只有带参数的运算才能称为神经网络的层数；

  经典网络-Resnet（残差网络）

感受野：如果堆叠3个3*3的卷积层，并且保持滑动窗口步长为1，其感受野就是7*7的了，这跟一个使用7*7卷积核的结果是一样的。

假设输入大小都是h*w*c，并且都使用c个卷积核（得到c个特征图），可以来计算一下其各自所需参数：

一个7*7卷积核所需参数=c*（7*7*c）=49c^2；

3个3*3卷积核所需参数=3*c*（3*4*c）=27c^2；

堆叠小的卷积核所需的参数更少一些，并且卷积过程越多，特征提取也会越细致，假如的非线性变换也随着增多，还不会增大权重参数个数，这就是VGG网络的基本出发点，用小的卷积核来完成体特征提取操作。

递归神经网络：eg RNN，每一层特征之间有相关性；

词向量

keras--简单便捷；

Keras是基于TensorFlow和Theano（由加拿大蒙特利尔大学开发的机器学习框架）的深度学习库，是由纯python编写而成的高层神经网络API，也仅支持python开发。它是为了支持快速实践而对tensorflow或者Theano的再次封装，让我们可以不用关注过多的底层细节，能够把想法快速转换为结果。它也很灵活，且比较容易学。Keras默认的后端为tensorflow