神经网络与卷积神经网络

神经网络
对特征通过隐藏层进行升维或降维。
sigmoid作为激活函数，会导致梯度消失。
使用relu激活函数，使某些神经元失活，有点类似于dropout。未失活的神经元看起来是线性，但是每个样本失活不同，所以整体起来就是非线性的。
卷积神经网络

1、判断一个图案的特征并不需要太多
2、判断一盒图案，可能的特征不一定在同一像素点上
3、图案像素点的抽离（1080720——>2020 图片压缩的感觉）

解决上述1、2，对应的就是convolution（卷积层）
解决3，对应的就是max pooling （池化层）

卷积完选取最大值进行池化

卷积层在做卷积的时候卷积核的参数也是训练得到的。通过多次的卷积池化，去学习特征。刚开始可能只学到横线，竖线，然后后面学到五官，后面在学到更好的特征。