学习西瓜书
euzmin
这个作者很懒,什么都没留下…
展开
-
L1正则化问题
在线性优化中,通常会遇到l1正则化,由于L1不可导,所以如何求得最优解是个问题。考虑最简单的线性模型, 用平方误差作为优化函数,则优化目标为:使用L1正则化,则为:该优化目标也叫LASSO回归。将(1)视为对w的函数,:若f(x)可导,且∇f可导,且∇f满足L−Lipschitz条件,即存在常数L>0使得∣∇f(x′)−∇f(x)∣≤L∣x′−x∣,∀(x,x′)|\nabl...原创 2020-03-12 21:03:17 · 1322 阅读 · 0 评论 -
学习西瓜书-公式1.1
解释下为什么使用(1.1)式作为“训练集之外的所有样本上的误差”。首先,我们是这样定义一个假设函数h对一个样本点x的预测误差的:预测值h(x)与真实值f(x)一致则误差为0,不一致则误差为1,即I(h(x)≠f(x))由于x是一个随机变量,那么这个误差值也是一个随机变量,取值为0或1,其在训练集之外的所有样本上的期望可以看作假设函数h在训练集之外的所有样本上预测的错误率,即:我们就把这个错...转载 2019-10-09 10:54:16 · 1028 阅读 · 9 评论