第1.2章：线性回归（Linear Regression）_参数的求解

简述一下线性回归流程：首先可以进行数据的预处理，包括但不限于：缺失值处理、线性相关的特征值处理、误差较大的脏数据处理。然后搭建一个线性回归模型，运用梯度下降或者正规方程法可以求出参数，这样模型就确定了。之后再用一些检测方法，评估模型是否合理并进行针对性的优化。

文中$\hat{y}$为预测值，$y^{(i)}$为实际值，$x_i$表示第$i$个变量（特征），$x^{(i)}$表示第$i$组数据（样本），同理$x_n^{(m)}$表示第m个样本的第n个特征

来源

Lecture_01

本章视频

06_线性回归算法原理推导、07_线性回归参数的求解

一、线性回归算法原理推导

二、线性回归参数的求解（求函数最小值）

1.正规方程法

• 将目标函数（04）转化为矩阵形式可以简化推导过程，有利于代码实现：$$J(\theta )=\frac{1}{2}\sum _{i=1}^m{\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)}^2=\frac{1}{2}(X\theta -Y{)}^T(X\theta -Y)（06）$$ 其中$\mathbf{X}=\left[\begin{array}{cccc}{x}_0^{(1)}& x_1^{(1)}& \cdots & x_n^{(1)}\\ x_0^{(2)}& x_1^{(2)}& \cdots & x_n^{(2)}\\ \cdots & \cdots & \cdots & \cdots \\ x_0^{(m)}& x_1^{(m)}& \cdots & x_n^{(m)}\end{array}\right]=\left[\begin{array}{cccc}1& x_1^{(1)}& \cdots & x_n^{(1)}\\ 1& x_1^{(2)}& \cdots & x_n^{(2)}\\ \cdots & \cdots & \cdots & \cdots \\ 1& x_1^{(m)}& \cdots & x_n^{(m)}\end{array}\right]$ ， $\theta =[\begin{array}{l}{\theta }_0\\ \\ {\theta }_1\\ \cdots \end{array}$