3.线性回归模型.代价函数

1线性回归模型

就是一个线性函数，没什么太多可以说的

不过监督学习包括回归，即用目前的数据训练模型去预测未知数据的结果

w叫做系数，b叫做权重

2代价函数（成本函数）

2.1代价函数与损失函数

“代价函数”（Cost Function）和“损失函数”（Loss Function）这两个术语经常被提及，并且有时会被交替使用。尽管它们有着紧密的联系，但它们之间存在一些细微的区别：

1. 损失函数：

   • 损失函数通常用于衡量单个训练样本预测误差的大小。
   • 它是一种度量模型对于给定样本预测输出与实际输出之间的差异的方式。
   • 常见的损失函数包括均方误差（Mean Squared Error, MSE）、交叉熵损失（Cross-Entropy Loss）等。

2. 代价函数：

   • 代价函数通常是指整个训练集上的平均损失，即损失函数在整个训练数据集上的平均值。
   • 它是对模型整体性能的一个度量，用于评估模型在训练数据上的总体表现。
   • 在优化过程中，我们通常最小化的是代价函数而非单个损失函数。

简单来说，损失函数关注于单个数据点的预测效果，而代价函数则关注整个数据集的平均效果。在某些情况下，尤其是当训练集中每个样本的权重相等时，代价函数可以被看作是所有样本损失函数值的平均。因此，在许多文献和实践中，人们可能会将这两个概念等同起来使用。但在理论上，它们关注的范围是不同的。

2.2代价函数定义

为了实现线性回归，第一个关键步骤是手心定义代价函数，代价函数将告诉我们模型的运行情况，以便我们可以尝试让它做的更好。

2.3代价函数的公式

不同的w与b的值会形成不同的图像，就像上图的碗状

但是顶点的代价函数值最小最好，应选择此时的w与b

3.1 线性回归模型 part 1_哔哩哔哩_bilibili

3.2 线性回归模型 part 2_哔哩哔哩_bilibili

3.3 代价函数_哔哩哔哩_bilibili

3.4 代价函数的直观理解_哔哩哔哩_bilibili

3.5 可视化代价函数_哔哩哔哩_bilibili

3.6 可视化的例子_哔哩哔哩_bilibili