【机器学习】【线性回归】基本概念详解

训练用例

（xi，yi），此元祖成为训练用例数据集

训练数据集

（xi，yi），i=1,2,……m，此m个训练用例成为训练数据集

输入数据集

用X来表示输入数据集

输出数据集

用y来表述输出数据集

机器学习目标

机器学习的目标是，给定一个训练数据集，训练一个函数h：x->y，使得h(x)是一个好的预测函数，“好”的意思是给一个xi，通过h(x)计算出来的y，非常接近实际的yi，即y与yi的偏差最小，即拟合度最高。

线性回归

线性回归是很常见的一种回归，线性回归可以用来预测或者分类，主要解决线性问题。

1）线性回归中的“线性”描述的对象是谁？

线性指的是假设函数（如h(x)=θ0 + θ1x）中自变量x（即输入数据集）的系数θ的性质，即θ是线性的。

2）线性回归中的“回归”描述的对象是谁？

指假设函数h(x)和实际的数据集拟合度最高

3）多元线性回归中的“多元”描述的对象是谁？

多元表示训练数据集中每组用例有多个特征变量，

比如含有n元表示训练用例中有n个特征变量，

如第一组n元训练用例可表示为：（x11，x12，x13，……，x1n，y1），xij表示第i组用例中的第j个特征变量

假设函数

hypothesis function，记做h(x)

机器学习中被训练的函数就是假设函数。

简单线性回归的假设函数和多元线性回归的假设函数不同，可详见下面内容。

代价函数

cost function，记做J(θ)。

用来度量假设函数的拟合度、精确度。

J(θ)函数值越小表示h(x)预测出来的数据集与实际数据集的偏差越小。

所以J(θ)函数值最小时的元祖(θ0，θ1，……，θm)，此元祖对应的h(x)是拟合度最高的假设函数。

简单线性回归

简单线性回归只有一个自变量x。

简单线性回归的假设函数

    h ( x ) = θ0+θ1x

这个函数图形是一条直线，称为回归线，h(x)是在一个给定特征值x下的y的期望值

简单线性回归的代价函数

很明显，此代价函数主要计算任务就是计算y的方差的均值。

这个均值越小，说明拟合度越高。而计算(θ0,θ1)的过程，变成了求代价函数J(θ0,θ1)最小值的过程。从而转变成了高等数学问题中求函数最小值时对应的坐标的问题，就是这么个思路。

简单线性回归的梯度下降算法的推导公式

θ公式的推导过程详见：简单线性回归的梯度下降中θ的推导过程

多元线性回归

多元指的是每个训练用例中有多个特征变量x

使用xi表示训练集中的第i组训练用例

使用xij表示第i组用例中的第j个特征变量x

使用n表示每组用例的特征数，所以每组用例的元祖是(x1, x2, ……，xn)。

使用m表示训练用例的总数，即训练数据集有m组训练用例

数据训练集的整体如下所示：

(X11，X12，X13，……，X1n，y1)

(X21，X22，X23，……，X2n，y2)

                ……

(Xi1，Xi2，Xi3，……，Xin，yi)

                ……

(Xm1，Xm2，Xm3，……，Xmn，yn)

多元线性回归的假设函数

h(Xi) = θ0 + θ1Xi1+θ2Xi2+……+θnXin，其中i=1,……,m，表示训练数据集有m个训练用例，每个训练用例有n个特征变量x。

多元线性回归的假设函数的矩阵乘法表示方式

多元线性回归的梯度下降算法的推导公式

每个θ的推导过程，和简单线性回归的梯度下降中的θ的推导过程一模一样

详见：简单线性回归的梯度下降中θ的推导过程。

(end)