CNN训练算法与正则化

CNN训练算法

同一般机器学习算法，先定义Loss function，衡量和实际结果之间差距。找到最小化损失函数的W和b，CNN中用的算法是SGD。SGD需要计算W和b的偏导，即使用链式法则。

 

梯度下降算法

1）标准梯度下降法：

标准梯度下降先计算所有样本汇总误差，然后根据总误差来更新权值

 

2）随机梯度下降法：

随机梯度下降随机抽取一个样本来计算误差，然后更新权值

 

3）批量梯度下降法：

批量梯度下降算是一种折中的方案，从总样本中选取一个批次（比如一共有10000个样本，随机选取100个样本作为一个batch），然后计算这个batch的总误差，根据总误差来更新权值。

 

 

卷积神经网络优缺点：

1）优点

共享卷积核，对高维数据处理无压力

 无需手动选取特征，训练好权重，即得特征

深层次的网络抽取图像信息丰富，表达效果好

 

2）缺点

需要调参，需要大样本量，训练最好要 GPU

物理含义不明确

 

正则化（Dropout）

神经⽹网络学习能⼒力强可能会过拟合

Dropout( 随机失活) ) 正则化：按一定的概率值随机失活一些连接权重值。

转载于:https://www.cnblogs.com/yongfuxue/p/10095751.html