机器学习02-回归regression

回归概述

**定义：**找到一个（连续）function，根据输入特征x，得到输出数值scalar。
**应用：**股市预测、自动驾驶（路况、车距–>方向盘角度）、商品推荐（商品A、B特征–>购买B的概率）

模型步骤

1、模型假设，选择模型框架（线性模型）
2、模型评价，判断模型的好坏（损失函数）
3、模型优化，筛选最优的模型（梯度下降）

模型假设

线性模型

模型评估

损失函数loss function：

下标表示组成component，上标表示样本的编号

梯度下降

**学习率：**参数更新的幅度
**梯度下降：**根据函数再抹点梯度的方向决定该点移动方向及步幅（梯度下降容易找到local min，但线性模型无局部最优解。所以找到的解即为全局最优）
具体步骤：
①随机选取一个初始点w⁰
② 计算微分，也就是当前的斜率，根据斜率来判定移动的方）
③根据学习率移动