![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
flipped_Sun
这个作者很懒,什么都没留下…
展开
-
L1、L2正则化来源推导
L1、L2正则化来源推导 L1L2的推导可以从两个角度: 带约束条件的优化求解(拉格朗日乘子法) 贝叶斯学派的:最大后验概率 1.1 基于约束条件的最优化 对于模型权重系数w的求解释通过最小化目标函数实现的,也就是求解: 首先,模型的复杂度可以用VC来衡量。通常情况下,模型VC维与系数w的个数成线性关系:即: w数量越多,VC越大,模型越复杂 为了限制模型的复杂度,我们要降低VC,自然的思路就是降低w的数量,即: 让w向量中的一些元素为0或者说限制w中非零元素的个数。我们可以在原优化问题转载 2020-08-25 20:35:10 · 958 阅读 · 0 评论 -
生成模型VS判别模型
监督学习方法可以分为生成方法和判别方法,所学习得到的模型分别为生成模型和判别模型。 生成模型定义 生成方法由数据学习联合概率分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测的模型,即生成模型: 典型的生成模型有朴素贝叶斯,隐马尔可夫模型 生成模型为什么叫生成模型? 因为模型表示了给定输入X和产生输出Y的生成关系,即联合概率分布P(X,Y),拥有一组生成新数据的能力。 判别模型定义 判别方法由数据直接学习决策函数f(X)或者条件概...原创 2020-08-25 19:44:20 · 302 阅读 · 0 评论