机器学习之回归问题_discrete-valued to real-valued-CSDN博客

本文链接：https://blog.csdn.net/m0_54653125/article/details/120203480

文章目录

这篇文章是我观看吴恩达老师机器学习系列2-1至2-7课程所总结的笔记，文有诸多不妥，请不吝赐教。

linear regression 回归问题

predict real-valued（continuous valued）output预测连续的数值输出

classification problem 分类问题

predict discrete-valued output 预测离散值输出（例如0和1）

linear regression with one variable

hypothesis 假设函数

通常用h表示
$h_{\theta}$ (x)= $\theta_{0}$ + $\theta_{1}$ x
$\theta_{i}$ ——parameter模型参数

cost function 代价函数

也称平方误差函数。
$J_{(\theta_{0},\theta_{1})}$ = $\frac{1}{2m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^{2}$
要寻找 $\theta_{0}$ 和 $\theta_{1}$ 的值，使预测更加准确，即使 $h (x)$ 和y的差尽可能得小。代价函数要尽可能得小。

gradient descent 梯度下降

最小化任意代价函数
给定 $\theta_{0}$ $\theta_{1}$ 初始值
不断更新 $\theta_{0}$ $\theta_{1}$ ，使 $J_{(\theta_{0},\theta_{1})}$ 不断变小直至最小
$\theta_{i}:=\theta_{i}-\alpha\frac{\partial}{\theta_{i}}J_{(\theta_{0},\theta{1})}$ (i=0,i=1)
$\alpha$ ：学习速率

“Batch” gradient descent线性回归的梯度下降

每一步梯度下降都遍历了整个训练集的样本
是一个凸函数（弓状函数），使用梯度下降算法会得到全局最优解
求偏导：
$\frac{\partial}{\theta_{0}}J_{(\theta_{0},\theta{1})}=\frac{1}{m}\sum_{i=1}^{m}h_{\theta}(x^{(i)})-y^{(i)}$
$\frac{\partial}{\theta_{1}}J_{(\theta_{0},\theta{1})}=\frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})x_{i}$
更新 $\theta_{0} \theta_{1}$ ：
$\theta_{0}:=\theta_{0}-\frac{1}{m}\sum_{i=1}^{m}h_{\theta}(x^{(i)})-y^{(i)}$
$\theta_{1}:=\theta_{1}-\frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})x_{i}$