![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
统计学习方法
文章平均质量分 59
Mr_tianyanxiaobai
这个作者很懒,什么都没留下…
展开
-
决策树
决策树 对所有的特征进行笛卡尔积,获得所有特征的组合,获得新集合中每个元素中好瓜的概率和坏瓜的概率。但是这样会造成过拟合,且特征重要性不同。 判断每个特征的重要性方法。 如果数据呈如下分布: 从结果可以看出,用颜色来判断好坏瓜的可靠性比用敲声来判断好得多,因此颜色的重要性更好。 有三种方法来衡量特征的重要性。 1. 信息增益(ID3算法) 2. 增益率(C45算法) 3. 基尼指数(Cart) 信息增益 熵:描述事物混乱程度 信息熵:越平均信息熵越大,越不平均信息熵越小。 Ent(D)=−∑k原创 2021-04-11 17:06:38 · 421 阅读 · 0 评论 -
交叉熵
生成模型和判别模型 通过先验概率和观测样本去预测后验概率的模型称之为生成模型 没有假设先验,直接通过具体的模型(如逻辑回归)去预测后验概率的模型称之为判别模型原创 2021-04-11 11:44:03 · 86 阅读 · 0 评论 -
统计学习中遇到的一些问题
感知机的损失明明是几何距离,为什么可以省略 1∣∣w∣∣2\frac{1}{||w||_2}∣∣w∣∣21,将函数距离当做最后的损失函数? 答:因为感知机的使用前提就是认为原数据线性可分,也就是说到最后函数的损失会降到 0 。如果说函数损失为 0,那么是否乘以 1∣∣w∣∣2\frac{1}{||w||_2}∣∣w∣∣21 的意义就不大了(因为 1∣∣w∣∣2\frac{1}{||w||_2}∣∣w∣∣21不可能为0,只有函数间隔部分可能为0)。换句话说,是否加上 1∣∣w∣∣2\frac{.原创 2020-10-14 08:55:19 · 393 阅读 · 0 评论 -
模型的正则化
Why & What 正则化 首先,从使用正则化解决了一个什么问题的角度来看:正则化是为了防止过拟合, 进而增强泛化能力。 正则化项 正则化其实就是在原始的损失函数中添加一个正则化项,用于约束 www 的取值空间。 正则化项一般都是单调递增函数,函数模型越复杂,正则化值越大。 这样设置风险函数,就可以很好地保证在模型的识别上去的情况下,模型的复杂度不会太大。进而保证了模型的泛化能力,防止过拟合。 正则化参数 正则化项中的标量 λ\lambdaλ 一般被称之为正则化参数: λ=σ2σw2\lambd原创 2020-10-07 16:53:28 · 1196 阅读 · 0 评论