15.损失函数及其梯度

损失函数及其梯度

损失函数

1.Mean Squared Error均方差（MSE）
2.Cross Entropy Loss交叉熵损失(分类误差)

• 即可用于binary二分类也可用于multi-class多分类
• 搭配softmax激活函数在Logistic Regression Part（逻辑回归部分）中使用

MSE

线性感知机下的梯度求导情况

全连接层的MSE梯度求导

import tensorflow as tf
import os
os.environ['TF_CPP_MIN_LOG_LEVEL']= '2'

x = tf.random.normal([2,4])
w = tf.random.normal([4,3]) #把4维降低到3维，3类多分类问题
b = tf.zeros([3])
y = tf.constant([2,0])

with tf.GradientTape<