深度学习&机器视觉笔记

1、卷积神经网络

卷积神经网络详解

2、卷积神经网络训练过程

卷积神经网络的训练过程主要是由前向传播和反向传播构成。

前向传播过程是让输入数据在网络中由前往后流动直至获取网络输出值。

反向传播的基本目的是利用损失函数对卷积神经网络的权重进行更新，以使网络的预测值越来越接近真实值，反向传播的基本原则是复合函数的链式求导法则。

3、softmax 回归层

用于解决图像分类问题的卷积神经网络的输出层神经元个数往往与类别数量相同。但其输出值的范围不确定，难以直观上判断这些值的意义，并且分类问题的数据真实标签是离散值，因此也无法衡量这些离散标签值与输出值之间的误差。

softmax回归层可以将输出值映射到（０，１）区间内，使得网络输出转化为关于类别的概率分布，这对于训练过程与真实标记计算误差是非常有利的，并且可以直观的通过概率值的大小判断图像所属类别。假设卷积神经网络输出值为［y1, y2, y3,…, yi…, yn］，经过softmax回归处理后输出为：

4、网络参数

在深度学习中，一般有两种类型的参数：１）网络模型参数，它在训练数据集中学习得到的，不需要模型设计者手动设置，通常作为网络的一部分而保存在程序中，例如卷积神经网络中的权重；２）超参数，它通常是由设计者直接指定，并且在不同的问题中会对其作相应的调整，常见超参数有：学习速率（learning rate）、卷积核尺寸、训练周期数（epoch）、动量、权重衰减系数、隐层数量。

学习速率作为超参数中最重要的一个，它能够控制训练过程中网络权重更新时变化的大小。当学习速率过大时，网络权重可能会不经意间“越过了”最优值，从而导致误差增加；当学习速率太小时，训练过程不仅缓慢，而且可能会使网络停留在一个较高的训练误差上。通常情况下，当对网络的训练达到一定程度后会将学习速率降低。

持续更新，长期填坑

参考文献：
1、基于深度学习的铝型材表面瑕疵识别技术研究_魏若峰