求解如下等式约束的最小二乘解
{ min c f ( c ) = ∣ ∣ y − X c ∣ ∣ 2 c T 1 = 1 \left\{\begin{array}{ll}\min_cf(c)=||y-Xc||^2\\c^T\pmb{1}=1\end{array}\right. {mincf(c)=∣∣y−Xc∣∣2cT111=1
解答：
使用拉格朗日乘数法，记：
L
(
c
,
λ
)
=
∣
∣
y
−
X
c
∣
∣
2
−
2
λ
(
c
T
1
−
1
)
=
(
y
−
X
c
)
T
(
y
−
X
c
)
−
2
λ
(
c
T
1
−
1
)
=
y
T
y
−
y
T
X
c
−
c
T
X
T
y
+
c
T
X
T
X
c
−
2
λ
(
c
T
1
−
1
)
\begin{aligned} L(c,\lambda)&=||y-Xc||^2-2\lambda(c^T\pmb{1}-1)\\ &=(y-Xc)^T(y-Xc)-2\lambda(c^T\pmb{1}-1)\\ &=y^Ty-y^TXc-c^TX^Ty+c^TX^TXc-2\lambda(c^T\pmb{1}-1) \end{aligned}
L(c,λ)=∣∣y−Xc∣∣2−2λ(cT111−1)=(y−Xc)T(y−Xc)−2λ(cT111−1)=yTy−yTXc−cTXTy+cTXTXc−2λ(cT111−1)
L
(
c
,
λ
)
L(c,\lambda)
L(c,λ)对
c
c
c求偏导并令偏导数等于
0
0
0得：
∂
∂
c
L
(
c
)
=
0
−
X
T
y
−
X
T
y
+
2
X
T
X
c
−
λ
2
=
0
X
T
X
c
=
λ
1
+
X
T
y
c
=
(
X
T
X
)
−
1
(
λ
1
+
X
T
y
)
\frac{\partial}{\partial c}L(c)=0-X^Ty-X^Ty+2X^TXc-\lambda\pmb{2}=0\\ X^TXc=\lambda\pmb{1}+X^Ty\\ c=(X^TX)^{-1}(\lambda\pmb{1}+X^Ty)
∂c∂L(c)=0−XTy−XTy+2XTXc−λ222=0XTXc=λ111+XTyc=(XTX)−1(λ111+XTy)
代入
c
T
1
=
1
c^T\pmb{1}=1
cT111=1，即
1
T
(
X
T
X
)
−
1
(
λ
1
+
X
T
y
)
=
1
λ
=
1
−
1
T
(
X
T
X
)
−
1
X
T
y
1
T
(
X
T
X
)
−
1
1
\pmb{1}^T(X^TX)^{-1}(\lambda\pmb{1}+X^Ty)=1\\ \lambda=\frac{1-\pmb{1}^T(X^TX)^{-1}X^Ty}{\pmb{1}^T(X^TX)^{-1}\pmb{1}}
111T(XTX)−1(λ111+XTy)=1λ=111T(XTX)−11111−111T(XTX)−1XTy
代入上面的结果得到，等式约束下的最小二乘解为：
c
=
(
X
T
X
)
−
1
(
λ
1
+
X
T
y
)
=
(
X
T
X
)
−
1
(
1
−
1
T
(
X
T
X
)
−
1
X
T
y
1
T
(
X
T
X
)
−
1
1
1
+
X
T
y
)
=
(
X
T
X
)
−
1
X
T
y
+
(
X
T
X
)
−
1
1
−
1
T
(
X
T
X
)
−
1
X
T
y
1
T
(
X
T
X
)
−
1
1
1
\begin{aligned} c&=(X^TX)^{-1}(\lambda\pmb{1}+X^Ty)\\ &=(X^TX)^{-1}(\frac{1-\pmb{1}^T(X^TX)^{-1}X^Ty}{\pmb{1}^T(X^TX)^{-1}\pmb{1}}\pmb{1}+X^Ty)\\ &=(X^TX)^{-1}X^Ty+(X^TX)^{-1}\frac{1-\pmb{1}^T(X^TX)^{-1}X^Ty}{\pmb{1}^T(X^TX)^{-1}\pmb{1}}\pmb{1} \end{aligned}
c=(XTX)−1(λ111+XTy)=(XTX)−1(111T(XTX)−11111−111T(XTX)−1XTy111+XTy)=(XTX)−1XTy+(XTX)−1111T(XTX)−11111−111T(XTX)−1XTy111
2389
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
