吃瓜教程 —— 第三章

三. 线性模型

1. 基本形式

给定由d个属性描述的示例 x = (x_1;x_2;…;x_d)，其中x_i在第i个属性上的取值，线性模型表示为

一般情况下用向量的形式，则表示成

只要能够确定出 w 和 b 的值就可以确定这个线性模型了

2. 线性回归

线性回归是什么？
线性回归是通过学习一个线性模型，来预测出其对应的连续值，通过对预测值和真实值之间，尽可能缩小其欧氏距离，即使得 f (x_i ) ≈ y_i

2.1 最小二乘法

使用均方误差最小化来进行模型求解的，形如

2.2 极大似然估计

假设线性回归模型如下所示，

其中 ϵ 符合

然后将 ϵ 用 y-(wx+b) 进行代替后，得到的式子为

代入极大似然估计后，得到如下所示，