线性回归笔记(1)

唐宇迪-机器学习-课程笔记

目前笔记内容为 38课时-41课时内容（未完成）。

线性回归

• 非常重要
• 基本–必须掌握的知识
• 公式参考

例子：

工资	年龄	额度
4000	25	20000
8000	30	70000
5000	28	35000
7500	33	50000
12000	40	85000

两个特征： 工资和年龄

• 目标： * 预测银行会贷款给我多少钱（标签）

考虑：工资和年龄都会影响最终银行贷款结果，那么它们各自有多大影响？（参数）

通俗解释：

• X1,X2 就是我们的两个特征（年龄，工资）Y是银行最终借多少钱
• 找到最合适的一条线（想象一个高纬度）来最好的拟合我们的数据点

[外链图片转存失败(img-EN52T30t-1567350177024)(https://i.loli.net/2019/09/01/StwPVIu2qY1xQcr.png)][外链图片转存失败(img-GWVEX6yn-1567350177028)(https://i.loli.net/2019/09/01/StwPVIu2qY1xQcr.png)]

拟合平面公式：${\theta }_0$ 是偏置项

$$h_{\theta }(x)={\theta }_0+{\theta }_1+{\theta }_2$$

整合：

$$h_{\theta }(x)=\sum _{i=0}^n{\theta }_i{x}_i={\theta }^{T}x$$

• $ \sum_{i=0}^n \theta_ix_i$ 表示求和

• 误差

  真实值和预测值之间肯定是要存在差异的（用$\epsilon$ 来表示误差）

对于每个样本：$$y^{(i)}={\theta }^T{x}^{(i)}+{\epsilon }^{(i)}$$

• $y^{(i)}$:表示真实值
• ${\theta }^T{x}^{(i)}$:表示预测值

误差

• 误差 ${\epsilon }^{(i)}$ 是独立并具有相同分布，并服从均值为0方差为 ${\theta }^2$ 的高斯分布

• 独立：张三和李四一起来贷款，他俩没关系

• 同分布：他两都来得是我们假定的这家银行

• 高斯分布：银行可能会多给，也可能少给，但是绝大多数情况这个浮动不会太大，极小情况浮动比较大，符合正常情况

• 推导：

  • 预测值与误差：$y^{(i)}=\thetaTx^{{(i)}+\varepsilon}{(i)} $ (1)

  • 由于误差服从高斯分布：$p({\epsilon }^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{({\epsilon }^{(i)}{)}^2}{2{\sigma }^2})$ (2)

  • 将（1）式代入（2）式： $p(y^{(i)}|x^{(i)};\theta )=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})$ (3)

• 似然函数：（根据样本估计参数值）

$$L(\theta )=\prod _{i=1}^{m}p(y^{(i)}|x^{(i)};\theta )=\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})$$

• 解释：什么样的参数跟我们的数据组合后恰好是真实值

• 对数似然：

$$\log L(\theta )=\log \prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})$$

• 解释：乘法难解，加法容易，对数里面乘法转换成加法