AI入门之机器学习（3）多元线性回归

1. 多元回归：回归中包括2个或者2个以上的自变量。

2. 多元线性回归：因变量和自变量之间是线性关系。

3. 如图：
   

4. 一元线性模型表示：二维空间的一条直线。

5. 二元线性模型（有2个自变量x1和x2）表示：三维空间的一个平面。
   y=（W1X1）+（W2X2）+b

6. 多元线性模型表示：直线在高维空间中的推广（即超平面）。
   y=W1X1+W2X2+ … +WmXm+b

7. 多元线性回归中的估计函数（即模型函数）：y^=W1X1+ … WmXm+b
   其中：X1、X2、X3 … Xm：表示样本的属性（比如：X1表示面积，X2表示房间数，X2表示楼层数）， W1、W2、W3 … Wm ：权值（比如：W1=0.6、W2=0.3、W3=0.1）

8. 注意：不同的样本需要给予不同的权重。

9. 为了方便推广到向量的形式，我们将b设为：W0=b，并设X0=1，则多元线性回归模型就可以表示成向量形式（如图）：
   在模型中w和x都（m+1）维的向量（如图）：
   
   假设有n个样本那么每个样本可以表示成（Xi，Yi）{i=1，2，3，……n}，其中下标 i 是样本序号，则一个样本的模型（如图）：
   

10. 多元回归的损失函数：
    

其中求和符号表示有n个样本，可以把它作是一个n维的向量，则将这个损失函数表示成向量的形式（如图）：

其中X和Y都是n维向量，但X的每一个分量又是一个（m+1）维向量，也就是说X是一个n*（m+1）的矩阵。

—————————————————————————————————————

因此又回到了求极值的问题，参数向量W取何值时，loss函数达到最小？

1. 在数学中使用函数发f（x）达到最小化时，自变量x的取值可以表示成（如图），最大化时和最小化一样只做微小的改变：

因此损失函数达到最小化的问题就可以表示成（如图）：

它表示当损失函数loss最小化时，权值向量w的去取值。

2.求解模型中的参数向量W：
对损失函数求偏导函数，再令偏导函数等于o，得到解（解析解），过程如图：

注：当Xt的转置乘以X的结果是一个满秩矩阵时，等号两边同时乘以它的逆就可以得到全秩向量W的解析解（如图）：

这个W的解，经常运用到多元回归模型中（即直接使用）

矩阵形式求解W

3. 如果向量的形式不适合你，也可以使用矩阵的形式求解W。
   因此n个样本的多元线性回归，可以使用下面的方程组表示（如图），其中每个方程组表示一个样本：
   
   把方程组表示成矩阵的形式（如图）：
   
   因此我们可以得到多元线性回归模型的矩阵形式：WX=Y^，得出损失函数（loss函数），再对loss函数求偏导数，令偏导数等于0，求w的值（如图）：
   

注意：

采用这种方式求解，要求是矩阵x的转秩乘以x求逆，x转秩x的结果必须是满秩，然在任务中它不是满秩的。例如：如果样本的属性数目非常多，超过了样本数，导致x的列数多余行数，就使得x转秩乘以x不满秩，在这中情况下可以解出多个w，它们都满足使平方损失函数最小化，造成模型的不唯一。
面对这样的情况，解决办法是：改变或者调整学习算法。
名词解释：
n维向量表示向量中的元素个数为n。
例如：
（1，2，3）T表示的是3维向量
（1，2，3，4，5，6）T表示的是6维向量
在机器学习中也经常这样描述属性的特征个数。
m×n矩阵：由m×n个数排成的m行n列的数表。
y和w和x代表的矩阵（如图）：

总结：多元回归线性回归包括2个或2个以上的自变量，因变量和自量之间是线性关系

---------------------------------------------------------------------------------------------------------------------------

最后：

多元线性回归的代码实现方法：
1.加载样本数据（将面积x1和x2分别放在数组x中，房价放在数组y中）
2.数据的处理（将加载的数据样本构造成计算解析解所需要的形式）
3.学习模型（计算w求解模型参数w，使用解析解公式计算参数向量w的值得到多元回归模型）
4.预测价格（输入房屋的面积和房间数，使用得到的模型来估计房价）
详细的代码将另外发博客，代码的样本数据将以下面某市区的房屋面积和价格表作为参考