CNN神经网络优化常用函数范式一览(损失函数loss,学习率learning_rate,滑动平均ema,正则化regularization)

来源: 学习北大曹健老师Tensorflow课程后做的学习笔记,整理后在此分享给大家. 之前是抄在本子上的, 可能存在一些抄写错误或是标记缺失, 若发现了可以评论告诉我.谢谢.

###一. 损失函数(loss):预测值y与已知答案y_的差距
神经网络优化目标即找到适合的w以减小loss, 有三种减小loss的方法

1. 均方误差mse(Mean Squared Error)
2. 自定义损失函数
3. 交叉熵ce(Cross Entropy)

1. 均方误差mse
模型 :
使用:

loss_mse = tf.reduce_mean(tf.square(y-y_))

**默认预测结果偏低偏高时结果相同,解决利益最大问题时无法求最优**

2. 自定义损失函数

**如预测商品销量,若利润!=成本,则mse产生的loss无法利益最大**

使用:

loss=tf.reduce_sum(tf.where(tf.greater(y,y_),COST(y-y_),PROFIT(y_-y)))

3. 交叉熵 :表示两个概率分布之间的距离
模型 :