机器学习入门以及Linear regression(线性回归)

线性回归几乎是所有机器学习的入门课程，但是由于符号定义表达方式不同，造成了很多人在入门时期感觉跟多向量非常矛盾。比如所行向量还是列向量，${\text{x}}_i$以及${\text{x}}_j$究竟是行还是列等等，本篇将先介绍向量以及列表相关的例子，然后再介绍线性回归的内容。

---

入门解惑

对于大多数教程而言，一份统计表的形式往往如下所示:
示例1：
示例1为默认格式，也是大多数博客或文章采用的格式。

	属性1	属性2	属性3	属性4	…
元组1
元组2
元组3
元组i	…	…	…	…	…

采用向量描述:

	属性1	属性2	属性3	属性4	…
元组i	$x_{i1}$	$x_{i2}$	$x_{i3}$	$x_{i4}$	…

${\text{x}}_i$代表行，但是并不能单纯地认为代表行的就是行向量，实际上大多数书籍或博客中默认都是列向量，如果有定义最好看清楚定义。
形如${\text{x}}_i=(x_{i1},x_{i2},x_{i3},x_{i4},...x_{in}{)}^T$是列向量
形如${\text{x}}_i=(x_{i1},x_{i2},x_{i3},x_{i4},...x_{in})$是行向量

	属性j	…
元组1	$x_{1j}$
元组2	$x_{2j}$
元组3	$x_{3j}$
元组i	$x_{ij}$	…

${\text{x}}_j$代表列，单纯地看表格实际上无法判断是否是列还是行向量，同样大多数默认是列向量，具体需要看定义。
形如${\text{x}}_j=(x_{1j},x_{2j},x_{3j},x_{4j},...x_{nj}{)}^T$是列向量
形如${\text{x}}_j=(x_{1j},x_{2j},x_{3j},x_{4j},...x_{nj}{)}^T$是行向量
其对应的具体实例:

编号	年龄	性别	身高	体重	电话
1	18	男	180	80	18938298162
2	17	男	180	80	18938298152
3	15	男	180	80	18938298142
4	16	男	180	80	18938298132
5	14	男	180	80	18938294122

定义${\text{x}}_i=(x_{i1},x_{i2},x_{i3},x_{i4},...x_{in}{)}^T$
那么第一行可以表示为${\text{x}}_1=(1，18，男，180，80，18938298162{)}^T$
定义${\text{x}}_j=(x_{1j},x_{2j},x_{3j},x_{4j},...x_{nj}{)}^T$
那么第一列可以表示为${\text{x}}_j=(1,2,3,4,5{)}^T$
示例2.1
但是有些表格不按照上面的通用格式，例如

	元组1	元组2	元组3	元组4	…
属性1
属性2
属性3
属性4

当看到这种形式的表时，就需要警惕${\text{x}}_i$与${\text{x}}_j$究竟是代表行还是列。
一般默认${\text{x}}_i$表示行，默认是列向量，具体看定义甚至文章语义。

	元组1	元组2	元组3	元组4	…
属性i	$x_{i1}$	$x_{i2}$	$x_{i3}$	$x_{i4}$	…

一般情况下默认${\text{x}}_j$仍然表示列，默认是列向量，具体看定义甚至文章语义。

	元组j	…
属性1	$x_{1j}$
属性2	$x_{2j}$
属性3	$x_{3j}$
属性4	$x_{4j}$

示例2.2
有时也会出现例外，仍然是示例2.1中的表格，如下：(个人认为可能作者本人找到的示例表格形式是示例2.1的形式，但是理论知识却按照示例1的格式，作者只是想稍微偷懒不改了。)
此时${\text{x}}_j$表示行，默认是列向量，具体是什么向量看定义甚至文章语义。

	元组1	元组2	元组3	元组4	…
属性j	$x_{1j}$	$x_{2j}$	$x_{3j}$	$x_{4j}$	…

${\text{x}}_i$表示列，默认是列向量，具体是什么向量看定义甚至文章语义。

	元组i	…
属性1	$x_{i1}$
属性2	$x_{i2}$
属性3	$x_{i3}$
属性4	$x_{i4}$

实际上遇到这种情况时可以将表格转置成示例一的形式。

---

正题开始–Linear regression

线性回归实际上是一种拟合方式，在现实应用中如果明确知道数据符合线性关系，那么直接使用即可；但是当不知道数据的关系时，如果是二维或三维数据，将离散数据绘制出来，观察数据之间的关系大致上符合线性关系也可以应用，如果是高维数据，线性回归可以作为一个数学模型参考使用，最终需要分析误差来决定是否采用这种模型。

符号定义
为了方便可视化，先处理二维数据看看实验效果，如下:

属性x	结果y
1	7
2	10
3	12
4	16
5	18
6	23

${\text{x}}_i=(x_{i1},x_{i2},x_{i3},x_{i4},...,x_{ij},...x_{in}{)}^T$是列向量，在表格中表示属性行，不包括结果。
${\text{x}}_j=(x_{1j},x_{2j},x_{3j},x_{4j},...,x_{ij},...x_{mj}{)}^T$是列向量，在表格中表示列。
$\text{x}=({\text{x}}_1^T;{\text{x}}_2^T;{\text{x}}_3^T;...;{\text{x}}_m^T)$
$x_{ij}$表示第i行第j列属性，对应表中的属性值。
$\hat{\text{y}}=({\hat{y}}_1,{\hat{y}}_2,...,{\hat{y}}_i,...{\hat{y}}_m{)}^T$是列向量，对应表格中的结果。
$\text{y}=(y_1,y_2,...,y_i,...y_m{)}^T$是列向量，对应拟合的结果。
$\text{w}=(w_1,w_2,...w_j,...,w_n{)}^T$是列向量，表示回归系数。
b是常数项。

---

推导过程
线性回归公式
$$y_i=\sum _{j=1}^n{w}_j{x}_{ij}+b={\text{x}}_i^T\text{w}+b$$
为了方便矩阵表示，可以重定义向量$\text{w}$以及向量${\text{x}}_i$
$\text{w}=(b,w_1,w_2,...,w_j,...,w_n{)}^T$
${\text{x}}_i=(1,x_{i1},x_{i2},x_{i3},x_{i4},...,x_{ij},...,x_{in}{)}^T$
重定义之后
$$y_i={\text{x}}_i^T\text{w}$$
$$\text{y}=\text{x}\text{w}\text{\hspace{1em}(1)}$$
为了求出系数$\text{w}$，求解策略是使拟合结果与实际结果误差最小。
误差公式表示为
$$e=\sum _{i=1}^m(y_i-{\hat{y}}_i{)}^2=(\text{y}-\hat{\text{y}}{)}^T(\text{y}-\hat{\text{y}})=(\text{x}\text{w}-\hat{\text{y}}{)}^T(\text{x}\text{w}-\hat{\text{y}})\text{\hspace{1em}(2)}$$
求解目标
$$\arg \underset{\text{w}}{\min }e\text{\hspace{1em}(3)}$$

可以证明e是关于$\text{w}$的一个凸函数，e存在最小值且为极小值，那么e的极小值点(导数为0)所在位置就是向量$\text{w}$的取值，接下来需要对向量求导(具体方法见我的另一篇博文)，
$$\frac{de}{d\text{w}}=\frac{d((\text{x}\text{w}-\hat{\text{y}}{)}^T(\text{x}\text{w}-\hat{\text{y}}))}{\text{w}}$$
复合函数求导，令向量$\text{u}=(\text{x}\text{w}-\hat{\text{y}})$
$$\frac{de}{d\text{w}}=\frac{d\text{u}}{d\text{w}}\frac{d{\text{u}}^T\text{u}}{d\text{u}}={\text{x}}^{T}2(\text{x}\text{w}-\hat{\text{y}})=2({\text{x}}^T\text{x}\text{w}-{\text{x}}^T\hat{\text{y}})\text{\hspace{1em}(4)}$$
最终的求解结果是个列向量且$\frac{de}{d\text{w}}=\text{0}=(0,0,0,...,0{)}^T$
很容易看出$\text{w}=({\text{x}}^T\text{x}{)}^{-1}{\text{x}}^T\hat{\text{y}}$，当且仅当${\text{x}}^T\text{x}$的逆存在时成立。
此时有些人可能会疑惑$\text{w}={\text{x}}^{-1}\hat{\text{y}}$时也成立，但是实际情况是$\text{x}$常常不是方阵，没有逆。

---

常用解法
1.牛顿法
牛顿法的迭代公式为
$${\text{w}}_{t+1}={\text{w}}_t-▽{{}^{2}f({\text{w}}_t)}^{-1}▽f({\text{w}}_t)$$
由(4)得$▽f(\text{w})=2({\text{x}}^T\text{x}\text{w}-{\text{x}}^T\hat{\text{y}})$
求$▽{}^{2}f(\text{w})=2{\text{x}}^T\text{x}\text{E}$
那么$▽{{}^{2}f(\text{w})}^{-1}=\frac{1}{2}({\text{x}}^T\text{x}{)}^{-1}$
那么${\text{w}}_{t+1}={\text{w}}_t-({\text{x}}^T\text{x}{)}^{-1}({\text{x}}^T\text{x}{\text{w}}_t-{\text{x}}^T\hat{\text{y}})=({\text{x}}^T\text{x}{)}^{-1}{\text{x}}^T\hat{\text{y}}$
对于本问题一步迭代即可得到最终结果，而且与上面看出的结果一致。
直接在控制台上运行

2.梯度下降法
梯度下降法迭代公式为
$${\text{w}}_{t+1}={\text{w}}_t-\alpha ▽f({\text{w}}_t)$$
实验结果

可以看到梯度下降算法与牛顿法求取的结果近似相等。
绘制图像

python代码

import numpy as np
import matplotlib.pyplot as plt
#输入数据以及\alpha
#梯度下降
def desc(data,a):
	row,col=data.shape
	w1=np.zeros([col,1])
	w=np.ones([col,1])
	#合并数组
	x=np.append(data[:,:-1],np.ones([row,1]),axis=1)
	y=data[:,-1:]
	while sum(abs(w1-w))[0]>0.001:
		w=w1
		dfw=2*(np.dot(np.dot(x.T,x),w)-np.dot(x.T,y))
		w1=w-a*dfw
	return w1
#针对二维平面绘制图像
def draw(data):
	x=np.array(range(0,10))
	y=w[0]*x+w[1]
	plt.scatter(data[:,:-1],data[:,-1:])
	plt.plot(x,y,color='red')
	plt.show()

data=np.array([[1,2,3,4,5,6],[7,10,12,16,18,23]]).T
w=desc(data,0.01)
print(desc(data,0.01))
draw(data)