预备知识
1.正定矩阵:设A为实对称矩阵,若二次型
为正定,即对于任意一组不全为零的实数
都有
。
补充:当矩阵顺序主子式全部大于0时,可判断该矩阵为正定矩阵。
2.Hessina矩阵:如果
的所有二阶导数都存在,则
的Hessian矩阵为
补充:当Hessina矩阵为正定矩阵时,可知
在该点为极小值。
3.矩阵的2-范数:又名欧几里得范数,即向量元素绝对值的平方和再开方,
,
可以表示矩阵之间的距离。
4.矩阵求导法则:设存在矩阵
矩阵
及
维向量
,我们有
。
补充:(1)
(2)
5.柯西-施瓦茨不等式:
,当且仅当
时等号成立。
公式推理
1.给定数据集
,对于学到的模型
,我们有
最优解的闭式解为:
,
证明:我们有要想使误差最小,需要衡量与
之间的差异,即使得
值最小。由于给定数据个数
为有限,那么我们将
对
求导得到下式:
同理对求导有:
由于关于
得二次二次函数,下面我们构造该函数得Hessian矩阵。
我们将对
求偏导有:
我们将对
求偏导有:
由Hessian矩阵定义我们可知该Hessian矩阵为:
由柯西—施瓦兹不等式可知,且
我们可知Hessian矩阵为正定矩阵。我们可知
存在极小值,且极小值在
处。联立方程组,我们有:
将其带入到有:
由于有,则有:
由于该二元二次函数只有一个极小值点,我们可知该极值点为函数的最小值点,证毕。
2.给定数据集
,对于学到的多元线性回归模型
,
为满秩矩阵或正定矩阵时,我们有
最优解的闭式解为:
,其中
证明:我们设由为使得
值与
值相差最小,我们使用2-范数来刻画两个矩阵之间的距离即
最小。下面对该取值进行推断:
我们将该式对求偏导有:
由于假设为满秩矩阵或正定矩阵,我们使
:
由于为满秩矩阵或正定矩阵,所以我们有
,我们有
为最小值点。