由最简单的线性回归出发

一、什么是线性回归？
线性回归是用线性累加的函数h(x)，其中函数包含m+1个w(w从0~m)参数，函数为了拟合样本(X,Y)中X->Y的转换关系，其中X为m维，Y为1维线性回归详解

二、线性回归的目标。
Loss Function为最小二乘法的函数，目的为了找到使得Loss Function最小的W。

三、达到目标的做法。
求线性回归的W的一般做法一般分为两种情况，矩阵X^TX满秩序可求解(求导等于0)，与矩阵X^TX不满秩(梯度下降)。

具体求法在上述链接中，这里来回顾一下:
1.什么是矩阵的秩？
（1）矩阵的秩是线性代数中的一个概念。在线性代数中，一个矩阵A的列秩是A的线性独立的纵列的极大数。通常表示为r(A)，rk(A)或rank A。

• 线性独立： 矩阵中的一个向量不能由其他向量表示。

2.怎么求矩阵的秩？
（1）初等变换，高斯消元。化为梯形矩阵的行数。

3.什么是矩阵满秩？
（1）设A是n阶矩阵, 若r（A） = n, 则称A为满秩矩阵。但满秩不局限于n阶矩阵
回到原来的线性回归问题，若满秩矩阵是一个很重要的概念, 它是判断一个矩阵是否可逆的充分必要条件。

A. 若矩阵X^TX为满秩矩阵,直接求解。
满秩说明可求逆——> L对W求导等于零可以直接求解W：

B. 若矩阵X^TX为不满秩，梯度下降，求局部最小值。