笔记
TCITRWDX
这个作者很懒,什么都没留下…
展开
-
深度学习中的正则化
主要结论: 测试误差一般来源于偏差(Bias)和方差(Variance) 当偏差大的时候出现欠拟合,当方差大的时候出现过拟合。 解决方法: 当偏差大的时候,增加特征个数(使用更复杂的模型)来优化; 当方差大的时候,增加样本个数或者正则化来优化。 偏差和方差的定义 估计变量xxx的均值: 假设xxx的平均值是μ\muμ,方差是σ2\sigma^2σ2,现已知xxx的一些样本点(但不全知道)的情况下...原创 2020-04-24 21:08:40 · 252 阅读 · 0 评论 -
深度学习第4次作业
为什么L1 正则化会导致稀疏性? 基本概念: 稀疏矩阵: 稀疏矩阵指有很多元素为0,少数参数为非零值的矩阵。 稀疏参数: 问题讨论: 一般而言,只有少数部分也特征对模型有贡献,大部分特征对模型没有贡献或着贡献很小,稀疏参数的引入,是的一些特征对应的参数是0,所以就可以剔除没有用的特征,从而实现特征选择,提高模型的泛化能力,降低过拟合的可能。 L1 正则使得参数稀疏可以从函数的角度来看。 1维情形:...原创 2020-05-17 10:49:18 · 312 阅读 · 0 评论