Python 根据观察值的前后观察者修正异常值

Python 根据观察值的前后观察者修正异常值

在统计学中，观测值是指观察到的某个变量或属性的数值，观测值通常是数字，常用于数据分析和统计分析，使用观测值可以来计算各种统计指标，如平均值、标准差、方差、相关性等。
在 Python 中的第三方库numpy提供了丰富的函数和方法来处理和计算观测值。
如下是在一组数据中获取指定观测值的前后两个观测值，并用前后两个观测者的平均值修正数据异常值的实现步骤：

• 获取指定观测值的前后两个观测值及其平均值。
• 通过三西格玛法则判断每个元素表示对应位置的值是否为异常值并获取异常值的位置。
• 修正异常值。
• 返回修正异常值后的数据。

如下是代码示例，执行代码前需确保numpy已经安装。

import numpy as np


def correcting_outliers(data_array, index):
    # 获取观测值的前后两个观测值及其平均值
    before = data_array[index - 1] if index > 0 else None
    after = data_array[index + 1] if index < len(data_array) - 1 else None
    mean = np.mean([before, after])
    # 判断每个元素表示对应位置的值是否为异常值
    rule = (data_array.mean() - 3 * data_array.std() > data_array) | (
                data_array.mean() + 3 * data_array.std() < data_array)
    # 生成一个长度与数据序列相等的索引数组，用于定位异常值的位置
    outliers_index = np.arange(data_array.shape[0])[rule]
    # 修正异常值
    data_array[index] = mean
    return before, after, outliers_index, data_array


data_array = np.array([2.78, 1.79, 4.73, 3.81, 2.78, 1.80, 4.81, 2.79, 1.78, 3.32, 10.8, 100.0])
index = 4
before, after, outliers_index, outliers_array = correcting_outliers(data_array, index)
print(
    f" 指定观测值为：{data_array[index]}\n 前后观测值分别为：{before} 和 {after}\n"
    f" 异常值为：{data_array[outliers_index]}\n 修正异常值后的数据为：{outliers_array}")

上述代码通过correcting_outliers函数实现获取指定观测值的前后两个观测值并用前后两个观测者的平均值修正数据异常值的功能，函数接受数组数据data_array和观测值的索引index作为参数，在函数通过三西格玛法则判断每个元素表示对应位置的值是否为异常值并获取异常值的位置。
注意：这只是一个简单的示例，执行代码时你需要将测试数据替换为你自己的数据。