随着深度卷积神经网络(CNN)在图像处理领域的快速发展,它已经成为机器视觉领域的一种标准,如图像分割、对象检测、场景标记、跟踪、文本检测等。
然而,想要熟练掌握训练神经网络的能力并不是那么容易。比如,我们常常会遇到如下问题。你的数据和硬件有什么限制?你应该是从何种网络开始?你应该建立多少与卷积层相对的密集层?你的激励函数怎样去设置?即使你使用了最流行的激活函数,你也必须要用常规激活函数。
学习速率是调整神经网络训练最重要的参数,也是最难优化的参数之一。太小,你可能永远不会得到一个合适的解决方案;太大,你可能刚好错过最优解。如果用自适应的学习速率的方法,这就意味着你要花很多钱在硬件资源上,以此来满足对计算的要求。
网络架构的选择和参数调优极大地影响了CNN的训练和性能,对于深度学习领域新入门的人来说,设计架构直觉的培养可能就是需要资源的稀缺性和分散性。
在此,作者推荐一本着重于实际调优的参考资料,供读者翻阅《神经网络:权衡技巧》。不用感谢,不过非要感谢,欢迎留言,哈哈!
那么下面,就进入我们的正式话题:14种图像分类的CNN设计模式。这14种设计模式可以帮助没有经验的研究者去尝试将深度学习与新应用结合。
(1)网络架构遵循应用