Normal Equation 简介

1. 什么是Normal Equation 


       在线性回归中,为了求得代价函数最小时的参数值θ。我们一般采用梯度下降法,但是当训练样本较小时(不超过千数量级)采用“Normal Equation”进行求解更好。“Normal Equation”一般翻译成正规方程或者标准方程,其表达式如下:


       推导过程如下:



         其中,用到了矩阵求导一些性质(http://blog.csdn.net/u012354244/article/details/46655709)。


2. Normal Equation的优缺点


         与梯度下降相比,Normal Equation的优缺点如下。

         优点:Normal Equation不需要设置learning rate;不需要多次迭代,一次性就可求解;不需要做特征收缩处理。

         缺点:仅适用于训练集较小的情况;存在奇异阵导致无法求解,需要进一步处理成非奇异阵才可求解(通过删除共线的特征等方法)。


评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值