- 博客(13)
- 收藏
- 关注
RSS订阅原创 李航《统计学习方法》第二版-决策树的生成
一 、ID3算法 用信息增益判断 二、C4.5 算法 用信息增益比做特征选择 三、决策树的剪枝 将预测误差项和损失项做平衡 剪枝算法步骤：
2021-11-09 23:03:34
550
原创 李航《统计学习方法》第二版-决策树
GBDT用的很多，树模型，xgboost 决策树学习步骤：特征选择、决策树生成、决策树的修剪 决策树可用于分类和回归 特征的排序 决策树相当于条件概率分布 决策树剪枝学习整体的模型
2021-11-08 22:40:08
586
原创 李航《统计学习方法》第二版-第四章 朴素贝叶斯
本来分为很多维度，互相有联系，利用贝叶斯变为相乘的形式，只需考虑当前维度和Y的关系，直接用频率就可数出。 朴素：意味着做出了条件独立性的假设，但条件不可能都是独立的 分母为分类讨论，分类讨论在求和 要输出哪一种类别输出条件概率最大，为生成模式 判别模型根据两者之间的差别，不需每个分别建立模型 ...
2021-11-07 22:45:08
206
原创 李航《统计学习方法》第二版-第三章k近邻模型
3.3 构造kd树 3.4 搜索kd树 kd树可帮助找到测试点最近邻的k个训练点，利用kd树可以实现k近邻搜索
2021-11-05 16:29:45
134
原创 李航《统计学习方法》第二版-感知机学习算法的对偶形式
对偶形式就是将w变换为乘积形式 代表误分类点用到的次数 将W替代 利用感知机的对偶形式求解感知机的参数 实例： ...
2021-11-01 23:21:13
147
原创 李航《统计学习方法》第二版-第二章 感知机
2.1 感知机模型 二分类线性模型，属于判别模型，对于误分类的损失函数最小化（梯度下降） 找超平面，通过确定两个参数和b 2.2 感知机学习策略 2.2.1 数据集的线性可分性 2.2.2 感知机学习策略 定义损失函数 误分类点到超平面的距离 针对误分类点 、 函数间隔除以模变成几何间隔 感知机找到的超平面可能不唯一，SVM是唯一的超平面 ...
2021-10-31 23:55:56
693
原创 李航《统计学习方法》第二版-第一章习题
1、准备知识 一、伯努利分布 只有两种结果 二、二项分布 三、极大似然估计（MLE） 要求使样本出现概率最大的，由样本求得，完全依赖于数据 四、贝叶斯最大后验概率估计（MAP） 有先验知识，不完全依赖于数据，还依赖于先验知识 贝叶斯最大后验概率比极大似然多了一项P（）先验 ...
2021-10-30 22:18:58
175
原创 李航《统计学习方法》第二版-分类问题
精确率：都表示预测为正类的（正对和正错的），更希望判断正确率高 召回率：为多少正例被挑出，预测为正例和所有正例比值，宁可错判，不漏一个 两个互斥
2021-10-28 22:33:54
112
原创 李航《统计学习方法》第二版第一章-生成模型和判别模型
判别模型只关心样本属于哪一类 生成模型估计联合概率分布，判别模型估计条件概率分布 1、生成模型：通过联合分布得到条件概率分布；关注数据内部关系，对联合分布建模，关注样本分布，如何生成 2、判别方法：不关心X和Y之间的关系；不在乎关联关系，只在乎输入X，得到的Y值；直接对条件概率进行建模 3、特点 机器学习实际更在乎，输入X，得到怎样的Y值，直接对条件概率进行建模，不知道X和Y的真实关系。生成方法往往带入初始的先验假设。 存在隐变量，生成方法可用。往往涉及EM 4、代...
2021-10-26 21:57:52
167
原创 李航《统计学习方法》第二版第一章-泛化误差
联合概率分布没法直接知道 ，没法求泛化误差，因此只能求泛化误差上界 泛化误差越小，泛化能力越好 1、数据量大，泛化误差上界趋于0 2、假设空间容量越大，模型越难学，泛化误差上界越大 泛化误差上界=经验风险+误差，N为样本容量，d为假设空间中函数的个数 经验风险是对损失函数求平均值 二、泛化误差上界推导 样本均值的期望等于总体的期望 下面为上面图片的证明 X为损失函数 ...
2021-10-26 21:17:51
457
原创 李航《统计学习方法》第二版第一章（正则防止过拟合）
L1正则化有稀疏性，相当于进行特征选择；L2正则化 模型复杂度和参数向量有关，使某些参数为0 加了正则化项，变为结构风险最小化 要使W限制在一个范围内，变为不等式约束问题 不等式约束问题，利用KKT条件 加正则化项等价于带约束条件，向量被限制在范围内 2、为什么L1正则具有稀疏性？可做特征选择 1）从解空间形状看 目标损失函数，等值线图；交点取最佳参数 坐标轴上的点代表某一轴为0，可使某些参数为0 L1正则更容易在顶点取得最优解 2）从贝叶斯最大后验概率估计角...
2021-10-24 21:02:13
85
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人