机器学习线性回归算法实验报告_机器学习笔记 线性回归

一、线性回归找到最佳拟合直线

1. 定义

线性回归是通过现有数据，让训练模型生成一个拟合公式，从而计算目标数据的预测值。

在统计学中，线性回归(Linear Regression)是利用称为“线性回归方程”的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。

这种函数是一个或多个称为回归系数的模型参数的线性组合。

• 只有一个自变量的情况称为简单回归大于一个自变量情况的叫做多元回归。

一个带有一个自变量的线性回归方程代表一条直线。我们需要对线性回归结果进行统计分析。

线性回归利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计方法运用十分广泛。其表达形式为y=x’x+e，e为误差服从均值为 θ 的正态分布。

线性回归假设物证和结果满足线性关系。其实线性关系的表达能力非常强大，每个特征对结果的影响强弱可以由前面的参数体现，而且每个特征变量可以首先映射到一个函数，然后再参与线性计算。这样就可以表达特征与结果之间的非线性关系。

回归属于有监督学习中的一种方法。该方法的核心思想是从连续型统计数据中得到数学模型，然后将该数学模型用于预测或者分类。

该方法处理的数据可以是多维的。

2. 回归与梯度下降

回归在数学上来说是给定一个点集，能够用一条曲线去拟合之。

如果这个曲线是一条直线，那就被称为线性回归；

如果曲线是一条二次曲线，就被称为二次回归。

回归还有很多变种，如：locally weighted 回归、logistic回归等。

举例，weka，做一个房屋价值的评估系统。相关变量可能有：</