2021-09-06

机器学习：
代价函数（Cost Function）：在机器学习中，代价函数作用于整个训练集，是整个样本集的平均误差，对所有损失函数值的平均。
代价函数的作用：
1.为了得到训练逻辑回归模型的参数，需要一个代价函数，通过训练代价函数来得到参数。
2.用于找到最优解的目标函数。
线性回归中代价函数原理的理解：
例如：简化一下设θ0=0，只剩下h(x)=θ1*X;

损失函数：计算的是一个样本的误差

代价函数：是整个训练集上所有样本误差的平均

目标函数：代价函数 + 正则化项

不同的假设函数（图片左侧）就会有不同的θ1，之后会有不同的代价函数（右侧）
θ1是线性回归的系数。

求最小的θ1就是算法的目标函数，根据假设函数，得到代价函数，此时求θ1最小就是代价函数最小。

例如：此处有h(x)=θ0+θ1*X;

]


自动找到使函数J最小的此处有θ-0+θ-1算法：
可以将代价函数（损失函数）最小化的梯度下降算法

梯度下降最小化代价函数：
【以θ-0，θ-1，J为坐标】梯度下降：α为学习速率，也就是步长
假如你处于一个局部最优点，那么你怎么找到全局最优点？