人工智能基础部分3-方差损失函数的概念

微学AI

已于 2022-12-27 10:39:35 修改

阅读量1.2k

点赞数 2

分类专栏：人工智能基础部分文章标签：人工智能 python

于 2022-12-17 17:08:00 首次发布

本文链接：https://blog.csdn.net/weixin_42878111/article/details/128354513

版权

人工智能基础部分专栏收录该内容

28 篇文章 46 订阅

订阅专栏

大家好，我是微学AI，今天给大家介绍一下方差损失函数的概念：

方差损失函数是指计算模型在训练集上的表现和在测试集上的表现之间的差异。它衡量着模型的拟合能力，也可以用来衡量模型的泛化能力。方差损失函数可以帮助我们找到最优模型，从而提高模型的泛化能力。

方差损失函数也是一种常见的回归损失函数，它的原理是，用算法预测出的值减去真实值，然后计算这些差值的方差，该方差越高，意味着算法的预测准确度越低。因此，当算法优化时，我们可以优化方差损失函数，从而提高预测准确率。

损失函数一般有方差损失函数，绝对值损失函数，交叉熵损失函数，方差损失函数将模型预测值与真实值之间的误差衡量为两者之间的方差，因此可以表示模型预测能力的稳定性，常用于回归问题。而绝对值损失函数，其实质是将模型预测值与真实值之间的误差衡量为两者之间的绝对值，在计算过程中不方便，交叉熵损失函数一般用于分类问题，对于回归问题我们更倾向于选择方差损失函数。

方差损失函数可以用来描述一个组合的偏离度，从而估计模型的不确定性。比如说，一家公司有三个部门，A、B和C，他们的收入分别是100万、200万和300万。公司的总收入是600万，每个部门平均200万收入，我们可以用方差损失函数来计算各部门收入的偏离度：
$loss = (100 - 200)^2 + (200 - 200)^2 + (300 - 200)^2 = 200,000$
可以看出，总收入为600万的情况下，各部门收入的偏离度为200,000。这里，方差损失函数可以用来衡量各部门收入的不确定性，从而帮助我们更好地评估模型的表现。

1.方差损失函数是数学表达：

假设有一个回归问题，其中有三个自变量 $x_1,x_2,x_3$ 和一个响应变量 $y$ 。将此问题表示为均方差损失函数时，可以使用以下函数： $L=(y-(a_1x_1+a_2x_2+a_3x_3))^2$ 其中， $a_1,a_2,a_3$ 是待估计的参数，用于表示 $y$ 与每个自变量之间的关系。要估计这些参数，可以使用最小二乘法，以使最小化均方差损失函数。

2.最小二乘法的数学证明：

最小二乘法是一种数据拟合方法，用于拟合一条直线或多项式曲线到一组数据点。它将曲线拟合到数据点，使得所有点到拟合曲线的距离的平方和最小。

举个例子，假设我们有一组数据点，每个点表示成坐标 $(x,y)$ ，如 $(1,2),(2,4),(3,6),(4,8),(5,10)$ ,我们可以用最小二乘法来拟合一条直线到这些点。直线的方程是 $y=ax+b$ ，其中 $a$ 和 $b$ 是需要求解的未知参数。根据最小二乘法，我们需要最小化的是所有点到拟合直线的距离的平方和，即：

$\sum_{i=1}^{n}(y_i-ax_i-b)^2$

其中 $n$ 是数据点的个数， $y_i$ 是第 $i$ 个数据点的 $y$ 坐标， $x_i$ 是第 $i$ 个数据点的 $x$ 坐标。对上面的公式求导，得到：

$\frac{\partial}{\partial a}\sum_{i=1}^{n}(y_i-ax_i-b)^2=-2\sum_{i=1}^{n}x_i(y_i-ax_i-b)$

$\frac{\partial}{\partial b}\sum_{i=1}^{n}(y_i-ax_i-b)^2=-2\sum_{i=1}^{n}(y_i-ax_i-b)$

将上面两个式子设置为0，得到：

$\sum_{i=1}^{n}x_i(y_i-ax_i-b)=0,\sum_{i=1}^{n}(y_i-ax_i-b)=0$

从上面的两个式子可以得到a和b的值：

$a=\frac{\sum_{i=1}^{n}x_iy_i-\sum_{i=1}^{n}x_i\sum_{i=1}^{n}y_i/n}{\sum_{i=1}^{n}x_i^2-\sum_{i=1}^{n}x_i\sum_{i=1}^{n}x_i/n}$

$b=\frac{\sum_{i=1}^{n}x_i\sum_{i=1}^{n}y_i/n-\sum_{i=1}^{n}x_iy_i}{\sum_{i=1}^{n}x_i^2-\sum_{i=1}^{n}x_i\sum_{i=1}^{n}x_i/n}$

可得 $a=\frac{\sum_{i=1}^{n}(x_i-\overline{x})(y_i-\overline{y})}{\sum_{i=1}^{n}(x_i-\overline{x})^2}, \ \ \ \ b=\overline{y}-\hat{a}\overline{x}$

根据上面的公式，当 $n=5$ 时， $a=2,b=0$ ，所以最终的直线方程为： $y=2x$ 。这个结果正是我们预期的，说明最小二乘法拟合的结果是正确的。

下面是方差损失函数与交叉熵损失函数的python代码样例：

# 引入库
import numpy as np

# 定义均方差损失函数
def loss_mse(y_true, y_pred):
    mse_loss = np.mean(np.power(y_true - y_pred, 2))

    return mse_loss
    # 构造 y_true 和 y_pred

y_true = np.array([1,2,3,4,5])
y_pred = np.array([1.5, 2, 3, 4.5, 5])

# 计算和输出均方差损失函数
mse_loss = loss_mse(y_true, y_pred)

print('均方差损失函数：', mse_loss)

# 定义交叉熵损失函数
def loss_ce(y_true, y_pred):

  # 计算真实标签与预测标签之间的交叉熵
  ce_loss = -np.mean(np.sum(np.multiply(y_true, np.log(y_pred)), axis=1))
  return ce_loss

# 构造 y_true 和 y_pred
y_true = np.array([[0, 1, 0], [1, 0, 0], [0, 0, 1]])
y_pred = np.array([[0.6, 0.2, 0.2], [0.2, 0.3, 0.5], [0.3, 0.3, 0.4]])

# 计算和输出交叉熵损失函数
ce_loss = loss_ce(y_true, y_pred) 
print('交叉熵损失函数：',ce_loss)

更多细节，可私信咨询，获取更多源码教程

往期作品：

一、人工智能基础部分

1.人工智能基础部分1-人工智能的初步认识

2.人工智能基础部分2-一元一次函数感知器

3.人工智能基础部分3-方差损失函数的概念

4.人工智能基础部分4-梯度下降和反向传播

5.人工智能基础部分5-激活函数的概念

6.人工智能基础部分6-神经网络初步认识

7.人工智能基础部分7-高维空间的神经网络认识

8.人工智能基础部分8-深度学习框架keras入门案例

9.人工智能基础部分9-深度学习深入了解

10.人工智能基础部分10-卷积神经网络初步认识

11.人工智能基础部分11-图像识别实战

12.人工智能基础部分12-循环神经网络初步认识

13.人工智能基础部分13-LSTM网络：自然语言处理实践

微学AI

关注

2
点赞
踩
5

收藏

觉得还不错? 一键收藏
打赏
0
评论
人工智能基础部分3-方差损失函数的概念

大家好，我是微学AI，今天给大家介绍一下方差损失函数的概念：方差损失函数是指计算模型在训练集上的表现和在测试集上的表现之间的差异。它衡量着模型的拟合能力，也可以用来衡量模型的泛化能力。方差损失函数可以帮助我们找到最优模型，从而提高模型的泛化能力。
复制链接

扫一扫