来源于自学《凸优化》和《矩阵分析与应用》笔记
- 正则化最小二乘
给定
AϵRm×n
A
ϵ
R
m
×
n
,
bϵRm
b
ϵ
R
m
,为函数F1和F2两个目标的优化问题,
Ax中A为已知系数矩阵,x表示要求的系数参数,b表示真实值,label,或者y值
A
x
中
A
为
已
知
系
数
矩
阵
,
x
表
示
要
求
的
系
数
参
数
,
b
表
示
真
实
值
,
l
a
b
e
l
,
或
者
y
值
也就是无约束的两准则问题,
选择 λ1>0,λ2>0 λ 1 > 0 , λ 2 > 0
则问题变为,
因为 Ax=b A x = b ,所以上式化为
其中 μ=λ2/λ1 μ = λ 2 / λ 1 ,
此时 μ μ 理解为F2相对于F1的权值
2 条件数,condition number
实际上,我们平时见到的普通最小二乘函数是这样的,
Ax=b
A
x
=
b
也就是
minmize∑(Ax−b)
m
i
n
m
i
z
e
∑
(
A
x
−
b
)
,采用平方/二次的形式,或者叫欧式距离,是\
用矩阵表示也就是
其中的假设是,自变量x不含误差,只有因变量b存在服从正态分布的误差,但是很多时候,我们违反了假设,自变量也有误差,所以需要把上式化为,
上式推导出
由此得,
||σx||2≤||A−1||2||σA||2||x+σx||2
|
|
σ
x
|
|
2
≤
|
|
A
−
1
|
|
2
|
|
σ
A
|
|
2
|
|
x
+
σ
x
|
|
2
向量X的相对误差与数值, cond(A)=||A||2⋅||A−1||2 c o n d ( A ) = | | A | | 2 ⋅ | | A − 1 | | 2
称 cond(A)为矩阵A的条件数,有时也用k(A)表示 c o n d ( A ) 为 矩 阵 A 的 条 件 数 , 有 时 也 用 k ( A ) 表 示