神经网络就是个概率,万事无绝对。
数据信息瓶颈结构,是信息有多到少,然后由少变多
处理一个视别时,并不是需要所有的数据,而是一个信息提取过程,特征提取过程要留下的必须是需要的特征,是能解决当前面临问题的特征,网络如何保证留下的数据是有用的,是根据PCA主成分分析,特征稀疏处理,降维,反向传播将梯度调优之后,就是保留的有用信息
稀疏到稠密的情况(图像生成,输入简单信息生成图片),稠密信息到稠密信息的情况(信息瓶颈,语音转文字,文字转语音,图片风格迁移)
池化的作用,
1. 下采样,压缩数据减少特征数量,针对稠密信息到稀疏信息的建议使用(视别,要找到有用特征),一般网络的中前段用最大池化(用于提取轮廓前景信息,前景信息差异大,)能尽快的体现数据特征的差异加速网络的学习,网络的结尾如果用池化就用平均池化(提取背景信息,网络的抽象层深层);
2. 有一定概率保证特征的平移不变性
3 | 8 | 7 | 9 |
如果图像往左移动,3丢失,但是如果用2*2卷积最大池化,上下俩表取到的特征都是
(8 , 9)
8 | 7 | 9 | 0 |