线性回归算法原理及python实现

引言

回归与分类的区别

区分回归与分类其实很简单，举个例子，预测病人患病概率，结果只有患病和不患病2种，这就是分类；预测房价，结果可能是在一段区间内，这个就是回归。

线性回归

线性回归是利用数理统计中回归分析方法，其本质是寻找出一条线最大程度的拟合特征及样本输出间的关系。

线性回归具有以下特点

1. 思想简单，容易实现
2. 是其他许多非线性回归模型的基础
3. 结果具有很好的可解释性

简单线性回归

原理及推导

当样本只有一个特征时，称为简单线性回归。例如房屋价格和房屋面积之间的关系。

假设我们找到了最佳的拟合直线方程为y=ax+b,则对于每个样本点预测值为

实际值为

要使得预测结果最贴近实际值，那么预测值减去实际值的值要最小，一般用样本点预测值减实际值的平方和表示，也称之为损失函数，我们要做的就是求得a,b使损失函数值尽可能小。


根据大学的高数可知求得a,b使损失函数值尽可能小，即对损失函数分别对a，b求导，使得求导结果等于0处即是极值，求导的结果得：

python实现算法

样本数据

import numpy as np
import matplotlib.pyplot as plt
x_data = np.array([1,2,3,4,5])
y_data = np.array([1,3,2,4,5])
plt.scatter(x_data,y_data)
plt