结合寒老师的课,对CNN近几年的发展进行总结,主要分两部分进行,1.cnn基础模型的改进。2.图像处理框架的改进
1.基础模型改进。
针对CNN模型的主要难点其实分为两个方面,(1)深度网络,难以训练,使用随机梯度下降法在将误差往前传的过程中可能就变成0了,(2)网络初始值难以确定,没有一个合适的初始值,想要训练好一个网络几乎是不可能的。对于第一个问题,除了一些大团队大量的计算外,就是对RELU函数的优化,由此出现的Leaky ReLU,Maxout等激活函数,而且发现Tanh在处理某些问题上来说,有较好的效果。对于第二个问题,深度现如今的爆发其实很大程度的源于AlexNet给与我们一个训练的参数初始值,使人们能够基于已有参数的基础上去进行