使用Isolation forest算法处理大规模数据方法介绍

在做数据挖掘时，我们常常因为自身电脑的配置不高，所以在运行代码时出现，cpu利用率太高或者内存使用率直接爆表的情况。在这里我介绍一种处理方法，这种方法所传递的思想，也可以用到类似的场景中去。本文是基于Isolation forest处理异常数据所采用的方法，其中原始数据非常庞大，数据量超过千万条，虽然Isolation forest这个算法实用性非常大，但是当数据量达到一定程度时，对于电脑硬件也是非常吃力的。所以我这里直接使用了一个分块批处理的思想方法(批处理思想：将一个大规模数据分成多个小块进行计算，然后汇总整合得出结果),这种思想在计算机领域应用很广泛，我在这里再补充一点，这种方法更多的是给一些初学者提高一个思考的方向，用以提高效率，解决实际问题。

数据量：1000w以上

运行环境：python3.7+pycharm

代码：

#!/usr/bin/env python3
#coding=utf-8

import pandas as pd
from sklearn.ensemble import IsolationForest
import os
import numpy as np

#使用isolation forest算法去除异常
def fileter_sale_data():
    rfilename='a.csv'
    df=pd.read_csv(rfilename,engine='python',encoding='utf-8')
    need_col=np.array(df['discount_price'].values)
    ifmodel=IsolationForest(n_jobs=-