《卷积神经网络与计算机视觉》阅读笔记 CH-9

Chapter 9

9.1 CNN未来研究方向

一、 卷积神经网络的训练需要大量的数据和计算能力。手动收集大规模标记数据集是一项艰巨的任务。通过无监督学习技术提取分层特征可以放宽对大量标记数据的需求。开发有效且可扩展的并行学习算法以加快学习过程。在几个应用领域中，存在对象类的长尾分布，不频繁对象无法获得足够的训练实例。需要适当调整网络深度以克服类的不平衡问题。
二、 存储大量参数占有高内存。 研究如何在不损失精度的条件下降低深度神经网络的复杂性 。
三、选择合适的超参数需要相当多的技能和经验。 研究超参数选择的优化技术。
四、缺乏坚实的数学和理论基础。 对于复杂神经网络的行为或它们如何能实现如此良好的性能，我们几乎没有任何了解，是的更好的模型开发仅限于反复试验。所以，试图了解已经学习了那些特征，并了解在深度CNN中每层执行了什么计算，是越来越受欢迎的研究方向。
五、面对对抗性实例表现脆弱。 故意设计的对抗性实例会使学习模型出错。提供复杂的防御策略是学多机器学习算法的重要组成部分。
六、无法处理任意形状的输入。 卷积神经网络无法处理任意形状的输入例如循环图和非循环图，此外，在深度网络公式中不存在将结构化损失纳入其中的原则性方法。而这种损失对于像身体姿势估计和语义分割的结构化预测任务是必不可少的。