用拉格朗日乘子理解正则项时出现的问题

通常采用最小二乘法估计模型(1)中的待估参数 { θ i ∣ i ∈ [ 0 ,   l ] } \{\theta_i|i\in[0,\,l]\} {θi​∣i∈[0,l]}，令$\vec{\theta }=[{\theta }_0,{\theta }_1,\dots ,{\theta }_l{]}^T$，即有优化模型：
$$\begin{array}{l}设计变量：\vec{\theta }\\ 目标函数：J(\vec{\theta })={\sum }_{k=1}^n(y_k-\widehat{y_k}{)}^2⟹min\end{array}\text{\hspace{1em}(2)}$$
其中，$y_k$为真实值，$n$为训练样本的个数。

然而，为了减小$|\vec{\theta }|$（美其名曰：降低模型复杂度，防止模型过拟合，增强模型对新数据的预测能力 链接：正则项的理解之正则从哪里来），通常会在(2)的目标函数后添加一个正则项，即把优化模型(2)变为优化模型(3)：
$$\begin{array}{l}设计变量：\vec{\theta }\\ 目标函数：J(\vec{\theta })={\sum }_{k=1}^n(y_k-\widehat{y_k}{)}^2+\lambda {\sum }_{i=0}^l{\theta }_i^2⟹min\end{array}\text{\hspace{1em}(3)}$$
其中，$\lambda$为已知参数，它的值由经验选取（如：0.1）。

此时，若把$\lambda$也当作一个设计变量（待估参数），即有优化模型(4)：

$$\begin{array}{l}设计变量：\vec{\theta };\lambda \\ 目标函数：J(\vec{\theta })={\sum }_{k=1}^n(y_k-\widehat{y_k}{)}^2+\lambda {\sum }_{i=0}^l{\theta }_i^2⟹min\end{array}\text{\hspace{1em}(4)}$$

则由拉格朗日乘子法(链接：理解拉格朗日乘子法)可以把优化模型(4)反着变换为优化模型(5)：
$$\begin{array}{l}设计变量：\vec{\theta };\lambda \\ 目标函数：J(\vec{\theta })={\sum }_{k=1}^n(y_k-\widehat{y_k}{)}^2⟹min\\ 约束条件：h(\vec{\theta })={\sum }_{i=0}^l{\theta }_i^2=0\end{array}\text{\hspace{1em}(5)}$$
显然，当把$\lambda$也当作一个设计变量（待估参数）时，由(5)中的约束条件可知，此时一定有${\theta }_0={\theta }_1=\cdots ={\theta }_l=0$，即$\vec{\theta }=0$。换句话说，在目标函数中添加了正则项${\sum }_{i=0}^l{\theta }_i^2$后，不论$\lambda$为多少，待估参数全为零。

这会出现很严重的问题，假如预测模型(1)为多元线性回归模型(6)：
$$\hat{y}={\theta }_0+{\theta }_1{x}_1+\cdots +{\theta }_l{x}_l\text{\hspace{1em}(6)}$$
如果在估计$\vec{\theta }$时加入了正则项，则不论$\lambda$为多少，都会得出：$\hat{y}=0$，而这又与实际经验相违背，是荒谬的。

因此，怎样才能正确地从拉格朗日乘子法的角度理解正则项？

以下解释为本人对以上问题的个人看法

出现以上问题的根源在于把$\lambda$也当作一个设计变量（待估参数），为了求优化模型(4)的目标函数的驻点，可对其每个变量求偏导（这里依然以多元线性回归模型为例）：
$$\{\begin{array}{l}\frac{\partial J(\vec{\theta })}{\partial {\theta }_0}={\sum }_{k=1}^n-2(y_k-{\theta }_0-{\theta }_1{x}_{k1}-\cdots -{\theta }_l{x}_{kl})+2\lambda {\theta }_0=0\\ ⋮\\ \frac{\partial J(\vec{\theta })}{\partial {\theta }_l}={\sum }_{k=1}^n-2x_{kl}(y_k-{\theta }_0-{\theta }_1{x}_{k1}-\cdots -{\theta }_l{x}_{kl})+2\lambda {\theta }_l=0\\ \frac{\partial J(\vec{\theta })}{\partial \lambda }={\sum }_{i=0}^l{\theta }_i^2=0\end{array}\text{\hspace{1em}(7)}$$
由(7)式的${\sum }_{i=0}^l{\theta }_i^2=0$可知${\theta }_0={\theta }_1=\cdots ={\theta }_l=0$，将其带入(7)式中的其他方程中可得：
$$\{\begin{array}{l}\frac{\partial J(\vec{\theta })}{\partial {\theta }_0}={\sum }_{k=1}^n-2y_k=0\\ ⋮\\ \frac{\partial J(\vec{\theta })}{\partial {\theta }_l}={\sum }_{k=1}^n-2x_{kl}{y}_k=0\end{array}\text{\hspace{1em}(8)}$$
方程组(8)是矛盾方程，因为它们不全为0，因此方程组(7)无解。也就是说，当把$\lambda$作为设计变量后，优化模型(4)的目标函数$J(\vec{\theta })$没有驻点，也就没有极值点了。现在再来定性地分析优化模型(4)的目标函数$J(\vec{\theta })$的单调性，由$\frac{\partial J(\vec{\theta })}{\partial \lambda }={\sum }_{i=0}^l{\theta }_i^2$恒大于等于0可知，$J(\vec{\theta })$在$\lambda$这一坐标维度上是单调递增的。并且可以从$J(\vec{\theta })$的表达式直观地看出当$\lambda \to -\infty$时，$J(\vec{\theta })\to -\infty$。

结论：在理解正则项时，不能简单地把$\lambda$当成变量把优化模型(3)变为优化模型(4)，并用拉格朗日乘子法转换成优化模型(5)进行理解。当$\lambda$为常量时，即优化模型(3)的目标函数有极小值点；当把$\lambda$作为变量时，即优化模型(4)没有极值点。