- 博客(4)
- 收藏
- 关注
RSS订阅原创 统计学习方法 学习记录4
CART，分类与回归树，是一种应用广泛的决策树学习方法。CART由特征选择，树的生成及剪枝组成。CART是在给定输入随机变量X条件下输出随机变量Y的条件概率分布的学习方法。CART算法由以下两步组成：1.决策树生成：基于训练数据集生成决策树，生成的决策树要尽量大2.决策树剪枝：用验证数据集对已生成的树进行剪枝并选择最优子树，这时用损失函数最小作为剪枝的标准。
2024-09-03 17:36:09
650
原创 统计学习方法 学习记录3
（左子结点不属于同一类则以该结点为新的根结点，计算剩下特征的信息增益，再次选择信息增益最大作为特征；右结点属于同一类，则结束）1.从根结点开始，对结点计算所有可能的特征的信息增益，进行比较，选择信息增益最大的特征作为结点的特征，由该特征不同取值分类，建立子结点。条件熵：表示在已知随机变量X的条件下随机变量Y的不确定性，随机变量X给定的条件下随机变量Y的条件熵。熵与条件熵之差称为互信息，决策树学习中的信息增益等价于训练数据集中类和特征的互信息。信息增益：得知特征X的信息后，使得类Y的信息不确定性减少的程度。
2024-09-03 00:05:11
175
原创 统计学习方法 学习记录2
它在机器学习中用于L1正则化，在损失函数中加入参数向量的L1范数，使得模型在优化过程中倾向于将某些参数缩小到零。感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1or-1二值。中的一个超平面S，w是超平面的法向量，b是超平面的截距，这个超平面将特征空间划分为两个部分，两部分被分为正负两类。噪声：通常指的是数据中的随机或不相关的错误、偏差或干扰，这些因素会导致模型的性能下降。正则化项是在目标函数中引入的额外项，目的是限制模型的复杂性，从而防止模型过拟合。w，b为感知机模型参数。
2024-09-02 23:12:59
74
原创 统计学习方法（第一版）学习记录1
联合概率分布：描述两个或多个随机变量同时发生得概率分布，表示这些随机变量所有可能组合的概率。如果有两个随机变量X和Y,他们的联合概率分布P(X=x,Y=y)表示X取某个特定值x，并且Y取某个特定值y得概率。条件概率：在已知某一事件发生得条件下，另一个事件发生得概率。用数学符号表示，给定时间B已经发生，事件A发生的条件概率记作P(A|B)期望：是概率论和统计学中一个核心概念，描述随机变量的平均值或中心趋势。损失函数期望：计算损失函数的期望值，它主要用于衡量模型在整个数据分布上的平均损失，即模型的总体表现。
2024-08-31 08:56:34
354
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人