最近正好在做孤立森林的项目,写下这篇推文记录下项目进程,也给需要做这个项目的同学一点参考。
1. 什么叫异常点
图中红色的点偏离大部分的数据,可以发现这些点分布稀疏且离密度高的群体较远,这样的点称为异常点。在统计里面,分布稀疏的区域表示数据发生在此区域的概率很低,因而认为落在该区域中的点是异常点。异常点不一定是有问题的点,但是在各行各业中异常点都是重点关注的对象。
像支付风控中的异常点就有可能存在潜在的风险,比如卡片异常金额交易有可能发生了盗刷,商户异常时间交易有可能在干非法勾当等。那么我们如何发现这些异常点,常见的有基于统计与数据分布(均值、方差)、箱线图、距离、密度等等,本文所讲的孤立森林是一种无监督的异常值检测算法。
2. 孤立森林算法原理
孤立森林算法类似随机森林。但是不根据信息增益或基尼指数来选择划分属性和节点,属性和节点的选择都是随机的。在建树的过程中ÿ