基于矩阵求解多元线性回归

多元线性回归法也是深度学习的内容之一，用java实现一下多元线性回归。

一元线性回归的公式为 y =  a*x + b, 多元线性回归的公式与一元线性回归的公式类似，不过是矩阵的形式，可以表示为Y =　AX + b，其中，Y是样本输出的合集，X是样本输入的合集。

多元线性回归最终求解的内容也就是 A 和 B， 这里省去求证步骤，直接列出求解 A 和 B 矩阵的公式，公式如下：

（

这里的X是样本输入的合集，是二维矩阵，Y是样本输出的合集，是一维矩阵。

可以看到，这里要求解两次，先将 A 求出来，再将 b 求出来，这样会增加计算量，也增加了编程时的困难，实际上，如果我们将多元线性回归的方程展开来看：

可以看到，如果我们将 b <=> a0 , 那么线性回归方程可以表示为：

这样的话，矩阵的求解公式可以表示为：

这里的 X 是一个新的矩阵，增加了“第零列”元素，该列元素全部设置为1。

现在可以进行编程，编程过程可以分为两步，第一步，给 X 矩阵增加“第零列”， 第二步， 求解 A 矩阵。

第一步的代码如下，这里我设置了一个多元线性回归类，将传进来的 X 和 Y，赋值给类中的 X 和 Y：

	/**如果采用无参构造，则需要通过set输入相应的矩阵
	 * @param X x的矩阵
	 * @param Y y的矩阵
	 */
	public void set(double X[][], double Y[]){
		this.X = new double[X.length][X[0].length + 1];
		for(int i = 0; i < X.length; i++){
			this.X[i][0] = 1;
			for(int j = 0; j < X[0].length; j++){
				this.X[i][j + 1] = X[i][j];
			}
		}
		this.Y = Y;
	}

完成后，求解 A 矩阵， 因为公式是矩阵形式，所以直接采用设计好的矩阵计算类进行求解，这里用到的主要是矩阵的转置，求逆以及矩阵的乘法，矩阵求逆和乘法在之前的两篇博客中列出，矩阵求逆： 点击打开链接，矩阵的乘法： 点击打开链接，因为这次计算只需要用到二维矩阵的转置，所以这里只列出二维矩阵的转置：

	/**求转置矩阵
	 * @param A 要求解的矩阵
	 * @return 转置矩阵
	 */
	public double[][] matrix_transpoistion(double A[][]){
		int row = A.length; 
		int col = A[0].length;
		double A_T[][] = new double[col][row];
		for(int i = 0; i < row; i++){
			for(int j = 0; j < col; j++){
				A_T[j][i] = A[i][j];
			}
		}
		return A_T;
	}

A 矩阵的求解公式列在这里：

也就是说，整个求解过程分为五步，(1)求转置，(2)转置与原矩阵的乘积，(3)乘积的逆，（4）结果乘矩阵的转置，(5)结果乘输出矩阵，考虑到 X 的转置要用两次，可以预设一个 X_T 矩阵，保存 X 的转置，整个求解过程的实现代码如下：

	/**计算相应的系数
	 * @return 包含b的系数组
	 */
	public double[] cal_coefficient(){
		int row = X.length;
		int col = X[0].length;
		//使用矩阵计算相应结果
		Matrix_cal mc = new Matrix_cal();
		//求X的转置
		double X_T[][] = mc.matrix_transpoistion(X);
		//求XT*X;
		mc.set(X_T);
		double temp[][] = mc.matrix_multriple(X);
		//求逆矩阵
		if(temp.length > 1){
			//如果X_T*X的矩阵行列数不为1
			mc.set(temp);
			temp = mc.inverse_Matrix();
		}
		else{
			//如果矩阵行列式为1，则temp不变
			temp[0][0] = 1/temp[0][0];
		}
		//求temp*X_T;
		mc.set(temp);
		temp = mc.matrix_multriple(X_T);
		//mc.show(temp);
		//求temp*Y
		mc.set(temp);
		B = mc.matrix_multriple(Y);
		return B;
	}
}

这里的 Matrix_cal，是我之前所写的一个基本的矩阵运算类，最后返回的结果是一个一维矩阵，也就是需要计算的 A。