机器学习系列6:正规方程

求一个函数的参数,例如下面这个方程,我们一般都会用梯度下降法去求。

未命名图片.png

还会不会有其他方法求参数呢?答案是有的,可以用正规方程(Normal Equation)去求参数。

 

那么问题来了,什么是正规方程呢?这个方程长什么样子,就让我们来见识一下。

未命名图片.png

其中 X 是一个矩阵,这个矩阵的每一行都是一组特征值,y 是数据集结果的向量。

 

举个例子,还是求房价,现在有 4 组训练集,如下表:

未命名图片.png

 ?0 就代表常数项。在这个例子中,矩阵 X 为:

未命名图片.png

可以看出,矩阵 X 的每一行都代表一组数据集的特征值。向量 y 为:

未命名图片.png

这样通过正规方程就可以很容易地求出参数 θ(一定要注意,这里的参数 θ 是一个向量)。

 

既然求参数 θ 有两种方法,一个为梯度下降法,一个为正规方程,那么他俩之间一定会有优缺点,下表就是这两种方法的优缺点的对比:

未命名图片.png

当特征值 n 非常大时,正规方程工作效率低的原因是要求一个非常大的矩阵的逆矩阵。

 

提到逆矩阵,就会出现矩阵的不可逆性,如果我们遇到了矩阵不可逆该怎么办呢?

 

正规方程有两种情况会出现不可逆性,也就是这个矩阵无法得出。

未命名图片.png

 

第一种情况:出现了两个相似的特征,这个两个特征可以用一个线性关系进行表示。例如,米和英尺,这两个都是用来描述长度的单位,且他们之间可以进行相互转化,如果特征值同时出现他们两个,就会出现矩阵不可逆的情况。

解决方法:去掉任意一个即可。

 

第二种情况:特征值的数量特别多,但是数据集的数量特别少。

解决方法:增加数据集或减少特征值。

 

ps. 本篇文章是根据吴恩达机器学习课程整理的学习笔记。如果想要一起学习机器学习,可以关注微信公众号「SuperFeng」,期待与你的相遇。

 

 

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值