![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习算法
掌舵的鹰
这个作者很懒,什么都没留下…
展开
-
随机森林总结笔记
1.随机森林原理介绍随机森林,指的是利用多棵树对样本进行训练并预测的一种分类器。简单来说,随机森林就是由多棵CART(Classification And Regression Tree)构成的。对于每棵树,它们使用的训练集是从总的训练集中有放回采样出来的,这意味着,总的训练集中的有些样本可能多次出现在一棵树的训练集中,也可能从未出现在一棵树的训练集中。在训练每棵树的节点时,使用的特征是从所有特征...原创 2018-06-13 11:16:19 · 773 阅读 · 0 评论 -
SVM核函数总结
1、 从线性可分到线性不可分 上一部分根据几何间隔最小得到了目标函数:max∣∣w∣∣1,s.t.,yi(wTxi+b)⩾1,i=1,2,...,n求∣∣w∣∣1 的最大值,相当于求21∣∣w∣∣2 的最小值,所以目标函数等价于:min21∣∣w∣∣2,s.t.,yi(wTxi+b)⩾1,i=1,2,...,n现在目标函数式二次的,约束是线性的,所以是一个凸二次规划问题,可以使用现...原创 2018-06-13 11:52:20 · 1328 阅读 · 0 评论 -
样本不平衡问题
在进行分类问题的时候样本不平衡往往会导致分类器更倾向于将样本分到数量多的一类,从而导致较高的召回较低的准确率。这种情况下有以下几种解决方法(假设正样本:负样本=1000:10w):1. 过采样 a. 简单将正样本复制n份(不推荐) b. SMOTE采样(对于SVM基本无效)2. 欠采样(会丢到一些重要的信息) a. 简单将正样本抽样1/100 b. 将负样本聚成1000类,取每个类的中心组成新...原创 2018-06-13 16:09:24 · 706 阅读 · 0 评论 -
排序算法常用评价指标计算方式(AUC,MAP,NDCG,MRR)
现在的排序评估指标主要包括MAP、NDCG和AUC三个指标。NDCG考虑多指标,MAP和AUC考虑单个指标。1.AUC 最直观的,根据AUC这个名称,我们知道,计算出ROC曲线下面的面积,就是AUC的值。事实上,这也是在早期 Machine Learning文献中常见的AUC计算方法。由于我们的测试样本是有限的。我们得到的AUC曲线必然是一个阶梯状的。因此,计算的AUC也就是这些阶梯 下...原创 2018-06-13 10:40:02 · 24679 阅读 · 0 评论