目录
1.1单变量线性回归(Linear Regression with One Variable)
1.2多变量线性回归(Linear Regression with Multiple Variables)
1 吴恩达机器学习之线性回归
1.1单变量线性回归(Linear Regression with One Variable)
假设函数( ℎ?(?)=?0+?1?)中只含有一个特征/输入变量,称此问题为单变量线性回归问题。
方法:梯度下降的线性回归(Gradient Descent For LinearRegression)
将梯度下降和代价函数结合,应用于具体的拟合直线的线性回归算法之中。
目标:同时更新theta0、theta1,使得损失函数最小
①求代价函数的导数
②求theta
关键:同步更新theta0和theta1
1.2多变量线性回归(Linear Regression with Multiple Variables)
一、模型概述
①假设函数
②代价函数
③批量梯度下降算法如下
寻找一组使代价函数最小的参数值theta
④随机选择一系列参数值,计算预测结果,再给所有参数新值,如此循环迭代直到收敛
二、其他补充
(1)特征缩放(Feature Scaling):为了让梯度下降能够运行得更快一点,使收敛得更快,迭代次数少一点。
(2)多项式回归
三、正规方程法
注:对于不可逆的矩阵(通常是因为特征之间不独立:eg同时包含英尺为单位和米为单位的尺寸,也有可能特征数量大于训练集数量),正规方程法不能使用。
附:公式推导如下
求偏导需用到两个矩阵求导法则
对代价函数求偏导
四、梯度下降与正规方程的比较
(1)梯度下降法必须使用特征缩放,正规方程法不用使用
(2)正规方程法在线性回归中是比梯度下降法更快的代替方法,但是在更复杂的模型中可能不能用,所以梯度下降法依旧重要
1.3正则化线性回归
①正则化线性回归的代价函数