机器学习——线性回归中正规方程组的推导

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/weixin_39449570/article/details/78520543

对于某些线性回归问题,正规方程方法是更好的解决方案,这种方法是对J(代价函数)求theta的导数并使其为0,它能够不需要迭代直接求出theta。如下:
这里写图片描述本文将涉及矩阵的求导,以下先对矩阵求导做出介绍。
首先定义这里写图片描述表示m×n的矩阵,那么对该矩阵进行求导可以用下式表示,可以看出求导后的矩阵仍然为m×n
这里写图片描述
这里要用到矩阵迹的特性,trace. 对于一个n阶的方阵(n×n),它的迹(tr)为对角线元素之和:
这里写图片描述
1. 对于一个实数,它的迹即为它本身
tr a = a
2. 如果AB是一个方阵,那么
tr AB = tr BA
3. 由此可推导出
trABC = trCAB = trBCA
trABCD = trDABC = trCDAB = trBCDA
4. 假设A 和 B为方阵,a为实数,那么又可以推导出以下的特性:
这里写图片描述
5. 对迹进行求导,具有以下特性:
这里写图片描述

有了这些基本知识接下来就是对正规方程组的推导了。
假设训练样本:
这里写图片描述
定义目标集合:
这里写图片描述
因为这里写图片描述,所以
这里写图片描述
又因为这里写图片描述, 根据最小二乘规则,代价函数可以写成:
这里写图片描述
这里写图片描述进行求导:
这里写图片描述
这里写图片描述

展开阅读全文

没有更多推荐了,返回首页