- 博客(13)
- 收藏
- 关注
RSS订阅原创 李航《统计学习方法》第二版-决策树的生成
一 、ID3算法用信息增益判断二、C4.5 算法用信息增益比做特征选择三、决策树的剪枝将预测误差项和损失项做平衡剪枝算法步骤：
2021-11-09 23:03:34
612
原创 李航《统计学习方法》第二版-决策树
GBDT用的很多，树模型，xgboost决策树学习步骤：特征选择、决策树生成、决策树的修剪决策树可用于分类和回归特征的排序决策树相当于条件概率分布决策树剪枝学习整体的模型
2021-11-08 22:40:08
651
原创 李航《统计学习方法》第二版-第四章 朴素贝叶斯
本来分为很多维度，互相有联系，利用贝叶斯变为相乘的形式，只需考虑当前维度和Y的关系，直接用频率就可数出。朴素：意味着做出了条件独立性的假设，但条件不可能都是独立的分母为分类讨论，分类讨论在求和要输出哪一种类别输出条件概率最大，为生成模式判别模型根据两者之间的差别，不需每个分别建立模型...
2021-11-07 22:45:08
275
原创 李航《统计学习方法》第二版-第三章k近邻模型
3.3 构造kd树3.4 搜索kd树kd树可帮助找到测试点最近邻的k个训练点，利用kd树可以实现k近邻搜索
2021-11-05 16:29:45
187
原创 李航《统计学习方法》第二版-感知机学习算法的对偶形式
对偶形式就是将w变换为乘积形式 代表误分类点用到的次数将W替代利用感知机的对偶形式求解感知机的参数实例： ...
2021-11-01 23:21:13
200
原创 李航《统计学习方法》第二版-第二章 感知机
2.1 感知机模型二分类线性模型，属于判别模型，对于误分类的损失函数最小化（梯度下降）找超平面，通过确定两个参数和b2.2 感知机学习策略2.2.1 数据集的线性可分性2.2.2 感知机学习策略定义损失函数误分类点到超平面的距离针对误分类点 、函数间隔除以模变成几何间隔感知机找到的超平面可能不唯一，SVM是唯一的超平面...
2021-10-31 23:55:56
770
原创 李航《统计学习方法》第二版-第一章习题
1、准备知识一、伯努利分布只有两种结果二、二项分布三、极大似然估计（MLE）要求使样本出现概率最大的，由样本求得，完全依赖于数据四、贝叶斯最大后验概率估计（MAP）有先验知识，不完全依赖于数据，还依赖于先验知识贝叶斯最大后验概率比极大似然多了一项P（）先验...
2021-10-30 22:18:58
254
原创 李航《统计学习方法》第二版-分类问题
精确率：都表示预测为正类的（正对和正错的），更希望判断正确率高召回率：为多少正例被挑出，预测为正例和所有正例比值，宁可错判，不漏一个两个互斥
2021-10-28 22:33:54
165
原创 李航《统计学习方法》第二版第一章-生成模型和判别模型
判别模型只关心样本属于哪一类生成模型估计联合概率分布，判别模型估计条件概率分布1、生成模型：通过联合分布得到条件概率分布；关注数据内部关系，对联合分布建模，关注样本分布，如何生成2、判别方法：不关心X和Y之间的关系；不在乎关联关系，只在乎输入X，得到的Y值；直接对条件概率进行建模3、特点机器学习实际更在乎，输入X，得到怎样的Y值，直接对条件概率进行建模，不知道X和Y的真实关系。生成方法往往带入初始的先验假设。存在隐变量，生成方法可用。往往涉及EM4、代...
2021-10-26 21:57:52
244
原创 李航《统计学习方法》第二版第一章-泛化误差
联合概率分布没法直接知道 ，没法求泛化误差，因此只能求泛化误差上界泛化误差越小，泛化能力越好1、数据量大，泛化误差上界趋于02、假设空间容量越大，模型越难学，泛化误差上界越大泛化误差上界=经验风险+误差，N为样本容量，d为假设空间中函数的个数经验风险是对损失函数求平均值二、泛化误差上界推导 样本均值的期望等于总体的期望下面为上面图片的证明X为损失函数...
2021-10-26 21:17:51
566
原创 李航《统计学习方法》第二版第一章（正则防止过拟合）
L1正则化有稀疏性，相当于进行特征选择；L2正则化模型复杂度和参数向量有关，使某些参数为0加了正则化项，变为结构风险最小化要使W限制在一个范围内，变为不等式约束问题不等式约束问题，利用KKT条件加正则化项等价于带约束条件，向量被限制在范围内2、为什么L1正则具有稀疏性？可做特征选择1）从解空间形状看目标损失函数，等值线图；交点取最佳参数坐标轴上的点代表某一轴为0，可使某些参数为0L1正则更容易在顶点取得最优解2）从贝叶斯最大后验概率估计角...
2021-10-24 21:02:13
164
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人