d大神之文马同学 (matongxue.com)
对于最小二乘的理解就上面即可。
这里主要是想记录一下,最小二乘中的求解🔺X需要的数学资料(P127的海瑟矩阵6.26和P128的6.28矩阵求导等等)。
一.海瑟矩阵
定义:黑塞矩阵(Hessian Matrix),又译作海森矩阵、海瑟矩阵、海塞矩阵等,是一个多元函数的二阶偏导数构成的方阵,描述了函数的局部曲率。黑塞矩阵最早于19世纪由德国数学家Ludwig Otto Hesse提出,并以其名字命名。黑塞矩阵常用于牛顿法解决优化问题,利用黑塞矩阵可判定多元函数的极值问题。在工程实际问题的优化设计中,所列的目标函数往往很复杂,为了使问题简化,常常将目标函数在某点邻域展开成泰勒多项式来逼近原函数,此时函数在某点泰勒展开式的矩阵形式中会涉及到黑塞矩阵。
二.矩阵求导
【手推机器学习】矩阵求导--合集_哔哩哔哩_bilibili
参考文章: