深度学习-分类问题

分类问题

分类结果混淆矩阵

真正(True Positive , TP)：被模型预测为正的正样本。
假正(False Positive , FP)：被模型预测为正的负样本。
假负(False Negative , FN)：被模型预测为负的正样本。
真负(True Negative , TN)：被模型预测为负的负样本。

查准率（precision）

查全率（Recall）

回归问题

回归性能度量方法（regression metrics）

• 平均绝对误差MAE（mean absolute error）
• 均方误差MSE（mean squarederror）及均方根差RMS
• 逻辑回归损失或称交叉熵loss（cross-entropy loss）
• R方值，确定系数（r2_score）

(1)平均绝对误差MAE（mean absolute error）
即平均绝对值误差，它表示预测值和观测值之间绝对误差的平均值。

举例：真实值= [2,4,6,8]，预测值= [4,6,8,10] MAE=1/4(2+2+2+2)=2.0

(2)均方误差MSE（mean_squared_error）及均方根差RMS
MSE =
RMS =

(3)逻辑回归损失 / 称交叉熵loss（cross-entropy loss）
  表征真实样本标签和预测概率之间的差值
信息量：
  假设对于学习神经网络原理课程，我们有三种可能的情况发生：

WoW，某某同学退学了！好大的信息量！相比较来说，“完全学会了课程”事件的信息量反而小了很多

设X是一个离散型随机变量，X=x0的信息量为：

根据log函数曲线，我们可知，概率越大，信息量越小

X0:表示一个事件
P(X0):表示X0发生的概率
I(X0):指示性函数


熵：
  表示随机变量不确定性的度量。

则上面的问题的熵是：

相对熵(KL散度) KL散度=交叉熵−熵

n为事件的所有可能性。 D的值越小，表示q分布和p分布越接近。


交叉熵

损失函数参考链接