机器学习笔记 （一） 线性回归

前言

lz最近开始学习机器学习算法，为了防止现在学到的知识在未来一段时间慢慢遗忘，在学习途中作此纪录，方便未来回顾。
本文记录的算法是线性回归算法。

一、名词解读

1.线性

什么是线性？顾名思义，线性的意思就是数学模型的几何表现是一条直线，这是基于模型中因变量（机器学习中称为特征或属性）是一元的情况。当模型中因变量为二元（特征向量是二维）时，其在几何上的表现则是一个平面，而当模型中因变量为多元（特征向量是多维）时，其在几何上的表现是一个超平面。

2.回归

在有监督算法中，当因变量y是连续性变量时，需要使用回归算法进行拟合，当因变量y是分类变量时，需要使用分类算法进行拟合。

二、模型形式

1.一般形式

$h_{\beta }(x)={\beta }_0+{\beta }_1{x}^{(1)}+{\beta }_2{x}^{(2)}+...+{\beta }_n{x}^{(n)}$（一般形式）

2.矩阵形式

$h_{\beta }(X)=\beta X$
其中$\beta =$$$\left|\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right|$$

三、损失函数

线性回归的损失函数为其残差平方和，具体形式为

1.一般形式

$Loss={\sum }_{i=1}^m(h_{\beta }(x_i)-y_i{)}^2$
其中$h_{\beta }(x_i)={\beta }_0+{\beta }_1{x}_i^{(1)}+{\beta }_2{x}_i^{(2)}+...+{\beta }_n{x}_i^{(n}$