机器学习基础课程学习笔记 5.线性回归算法

1. 介绍：

回归(regression) Y变量为连续数值型(continuous numerical variable)
如：房价，人数，降雨量
分类(Classification): Y变量为类别型(categorical variable)
如：颜色类别，电脑品牌，有无信誉

2. 简单线性回归(Simple Linear Regression)

很多做决定过过程通常是根据两个或者多个变量之间的关系
回归分析(regression analysis)用来建立方程模拟两个或者多个变量之间如何关联
被预测的变量叫做：因变量(dependent variable), y, 输出(output)
被用来进行预测的变量叫做： 自变量(independent variable), x, 输入(input)

2.1. 简单线性回归介绍

简单线性回归包含一个自变量(x)和一个因变量(y)
以上两个变量的关系用一条直线来模拟
如果包含两个以上的自变量，则称作多元回归分析(multiple regression)

2.2. 简单线性回归模型

被用来描述因变量(y)和自变量(X)以及偏差(error)之间关系的方程叫做回归模型
简单线性回归的模型是:

β_0、β_1为参数，ε是是一个随机的变量，均值为0，ε的方差(variance)对于所有的自变量x是一样的是独立的 ，ε满足正态分布。

2.3. 简单线性回归方程

这个方程对应的图像是一条直线，称作回归线。其中，β_0是回归线的截距，β_1是回归线的斜率，E(y)是在一个给定x值下y的期望值（均值）

3.多元线性回归

3.1. 多元回归模型

y=β_0＋β_1x_1+β_2x_2+ … +β_p*x_p+ε
其中：β_0，β_1，β_2… β_p是参数,ε是误差值

3.2 多元回归方程

E(y)=β_0＋β_1x_1+β_2x_2+ … +β_px_p

4. 估计流程

根据已有的数据，估计参数值β_0、β_1。。。的值。
估计的方法：