- 博客(5)
- 收藏
- 关注
RSS订阅原创 ROC及AUC计算方法及原理
1.非均衡分类问题在大多数情况下不同类别的分类代价并不相等，即将样本分类为正例或反例的代价是不能相提并论的。例如在垃圾邮件过滤中，我们希望重要的邮件永远不要被误判为垃圾邮件，还有在癌症检测中，宁愿误判也不漏判。在这种情况下，仅仅使用分类错误率来度量是不充分的，这样的度量错误掩盖了样例如何被错分的事实。所以，在分类中，当某个类别的重要性高于其他类别时，可以使用Precison和Recall多个比...
2018-07-30 20:20:31
85555
14
原创 支持向量机
支持向量机是一种二类分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器。支持向量机可以形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题，支持向量机的学习算法是求解凸二次规划的最优化算法。支持向量机包括构建由简至繁的模型：1.线性可分支持向量机：当训练数据是线性可分时，通过硬间隔最大化学习一个线性分类器；2.线性支持向量机：当训练数据近似线性可分时，...
2018-07-27 23:11:51
10985
原创 拉格朗日乘子与KKT条件
拉格朗日乘子法和KKT（Karush-Kuhn-Tucker）条件是求解约束优化问题的重要方法，再有等式约束时使用拉格朗日乘子法，在有不等式约束时使用KKT条件。前提是，只有当目标函数为凸函数时，使用这两种方法才能保证求得的是最优解。拉格朗日乘子法：设,是定义在上的连续可微函数，考虑约束最优化问题：将这个问题转换为：其中,称为拉格朗日乘子。下面依据wikipedi...
2018-07-25 23:07:57
1034
原创 XGBoost原理介绍
1. Introduction在这篇文章中，我将介绍XGBoost（eXtreme Gradient Boosting），一种tree boosting的可扩展机器学习系统。这个系统可以作为开源的软件包使用。该系统的影响已经在大量的机器学习和数据挖掘挑战中被广泛地认可。这些获胜解决方案包括：商店销售预测; 高能物理事件分类; 网络文本分类; 顾客行为预测; 运动检测; 广告点击率预测; ...
2018-07-17 20:10:25
73267
3
原创 决策树（ID3，C4.5，CART算法具体过程）
1.介绍1.1 定义决策树模型是一种描述对实例进行分类的树形结构，决策树由结点和有向边组成。其中结点有两种类型：内部结点和叶节点。内部结点表示一个特征或属性，叶节点表示一个类。在分类问题中，就表示基于特征对实例进行分类的过程。用决策树分类，从根节点开始，对实例的某一特征进行测试，根据测试结果将实例分配到其子节点。每一个子节点对应着特征的一个取值。如此递归的对实例进行测试分配，...
2018-07-16 21:14:44
7463
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人