2015年07月_mousever

转载使用R语言进行异常检测

本文结合R语言，展示了异常检测的案例，主要内容如下：（1）单变量的异常检测（2）使用LOF（local outlier factor，局部异常因子）进行异常检测（3）通过聚类进行异常检测（4）对时间序列进行异常检测单变量异常检测本部分展示了一个单变量异常检测的例子，并且演示了如何将这种方法应用在多元数据上。在该例中，单变量异常检测通过boxplot.stats(

2015-07-26 18:47:00 8556 1

转载信用卡评分中的误判问题说明

信用评分，本文的例子也是这块。在建立个人信用评分模型时，一般要求数据的包含了贷款者的还款历史，拥有还款历史的贷款者才能被清除地归为“好”或“坏”这两个类别。如果还款期尚在模型建立的时间窗口内，对各种类别的划分就不是那么直接了，这时一些账户就不能够确定地归为“好”或“坏”这两个类别。比如，在还款期内，一个有三笔或以上欠账的账户是“坏”的账户，而“好”账户则没有欠账，那么一个有两笔欠款的账户，

2015-07-18 20:18:53 907

转载二分类模型性能评价 2.0（ROC曲线，lift曲线，lorenz曲线）

参加工作后，对分类模型性能评价有了进一步的认识，所以我来试着更新一下理解。http://chen.yi.bo.blog.163.com/blog/static/150621109201042641952619/这是之前的1.0版本，里面有一些基本概念。首先，ROC曲线是tpr与fpr的相关关系可视化，这种衡量所考虑的目的是在尽量少的误诊（假阳性率）基础上，尽可能多地检验出阳性个

2015-07-18 18:26:33 11629 1

转载二分类模型性能评价（R语言，logistic回归，ROC曲线，lift曲线，lorenz曲线）

看了胡江堂介绍logistic回归的文章，总觉得还是有点不理解，所以我自己也来写一下，看看到底是哪里搞不懂。解决分类问题有多种思路，包括应用支持向量机、决策树等算法。还有一种较常规的做法是采用广义线性回归中的logistic回归或probit回归。广义线性回归是探索“响应变量的期望”与“自变量”的关系，以实现对非线性关系的某种拟合。这里面涉及到一个“连接函数”和一个“误差函

2015-07-18 18:16:06 17781

转载机器学习性能评估指标

ROC曲线指受试者工作特征曲线 / 接收器操作特性曲线(receiver operating characteristic curve), 是反映敏感性和特异性连续变量的综合指标,是用构图法揭示敏感性和特异性的相互关系，它通过将连续变量设定出多个不同的临界值，从而计算出一系列敏感性和特异性，再以敏感性为纵坐标、（1-特异性）为横坐标绘制成曲线，曲线下面积越大，诊断准确性越高。在ROC曲线上

2015-07-18 17:39:04 7320

转载评分卡模型剖析之一（woe、IV、ROC、信息熵）

信用评分卡模型在国外是一种成熟的预测方法，尤其在信用风险评估以及金融风险控制领域更是得到了比较广泛的使用，其原理是将模型变量WOE编码方式离散化之后运用logistic回归模型进行的一种二分类变量的广义线性模型。本文重点介绍模型变量WOE以及IV原理，为表述方便，本文将模型目标标量为1记为违约用户，对于目标变量为0记为正常用户；则WOE(weight of Evidenc

2015-07-18 11:03:23 2421

转载 logistic回归深入篇（1）

很早就接触到logistics regression，一直对其有几个点没有想明白，其中比较大的困惑就是为什么左边的公式要选择ln（p/1-p）而不是其他的公式，还有就是为什么一般将p=0.5作为正负样本的区分点前言：本文讨论的是线性范畴其实，要想想明白以上的问题，还得再多想一层，logistics regression（LR）存在的价值是什么？简单来讲，其初衷最初是为了

2015-07-07 16:35:23 2559

mousever的专栏