敲代码的quant的博客

转自周志华教授的西瓜书。没想到周志华教授的西瓜书中也对PGD求解Lasso问题进行了讲解，看来抽时间需要再好好刷一遍这本书了。证明：其中，求解向量xxx的分量xix_{i}xi​时，只需要按照求解一元方程的方式，对进行xix_{i}xi​的正负进行讨论就可以求解了。...

近端梯度下降近端梯度下降（Proximal Gradient Descent, PGD）是众多梯度下降算法中的一种，与传统的梯度下降算法以及随机梯度下降算法相比，近端梯度下降算法的使用范围相对狭窄，对于凸优化问题，PGD常用与目标函数中包含不可微分项时，如L1L1L1范数、迹范数或者全变正则项等。常见线性回归问题很多优化问题都可以转换为线性回归问题，假设线性回归的表达式是y=Xwy = Xw...

Lipschitz常数Lipschitz常数的定义是：对于函数y=f(x)y = f(x)y=f(x)，其中x∈Dx \in Dx∈D，如果存在L∈RL \in RL∈R，使得对于任意x1,x2∈Dx_{1}, x_{2} \in Dx1​,x2​∈D，有∣f(x1)−f(x2)∣≤L∣x1−x2∣|f(x_{1}) - f(x_{2})| \leq L|x_{1} - x_{2}|∣f(x1​...