![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数学
文章平均质量分 87
大笨钟47
这个作者很懒,什么都没留下…
展开
-
关于l2范数正则化与高斯先验问题
前言我们展示了如何用于分类的正则化可以从MDL的角度看作是一个高斯先验的权重。我们考虑了传输分类标签的问题;我们选择了非常精确的逻辑回归作为模型类,其中我们为每个特征指定了一个权重。这是不现实的,因为任何这样的模型的编码长度都是无限的,但如果我们对权值使用高斯先验并忽略常数因子,我们发现编码长度目标完全匹配的逻辑回归与l2范数正则化惩罚。通过这种理解,我们可以看到折衷参数是高斯先验的方差。它还描述了改进正则化的步骤——降低分辨率和特征选择都可以用来减少编码长度。1. 问题描述设(x1,……,xn)(x原创 2022-01-13 11:38:25 · 782 阅读 · 0 评论 -
纠正后的方差
将近一年前学的概率论,都差不多还给老师了。 在看BatchNorm推导时,看到方差S^2为什么对应的是1/(n+1)。 一、从公式角度那么为什么最后推导出来的公式是1/n-1而不是1/n呢?仔细观察上面的推导过程就可以发现,如果想要最后结果是1/n那么需要在这里插入图片描述,可是它虽然将方差缩小了n倍,可他依然是存在的,除非总体标准差等于0,那这样又意味着每个样本的个体处处等于期望值。如果你已知这个样本的期望值u,那么在这里插入图片描述就是总体样本方差的无偏估计,推导公式如下:从这两原创 2020-09-03 14:32:41 · 1746 阅读 · 0 评论