基于百分位极差和1.5IQR原则利用python快速直观地筛选异常值

 

我们在进行数据清洗和预处理的时候，根据箱线图能发现数据有异常值：

甚至有些极端异常值直接影响后续计算：

当我们面临数据量很大，而且需要加入人的主观意愿对数据异常进行删除或保留的时候，下面代码提供了一种简便直观的操作，可以直接在原始数据表中把异常值标记出来：

import pandas as pd
import openpyxl
from openpyxl.styles import PatternFill
# 读取CSV文件
file_path = r'输入你的工作路径\输入你的数据.csv'
df = pd.read_csv(file_path)

def highlight_outliers(val):
    try:
        if float(val) < lower_bound or float(val) > upper_bound:
            return 'background-color: red'
    except:
        pass
    return ''
# 定义函数来标记异常值
def highlight_outliers(s):
    Q1 = s.quantile(0.25)
    Q3 = s.quantile(0.75)
    IQR = Q3 - Q1
    lower_bound = Q1 - 1.5 * IQR
    upper_bound = Q3 + 1.5 * IQR
    return ['background-color: red' if x < lower_bound or x > upper_bound else '' for x in s]

df_styled = df.style.apply(highlight_outliers, axis=0)

o