def processDD(eachsubject,directory,newfile):
filename = 'CMUDataCol/DD/subject{0}.json'.format(eachsubject) # 原文件
with open(filename, 'r') as f:
data = [json.loads(line) for line in f] # 遍历读取每一次输入的不同按键数据(读取每一行数据)
ddt = [list(lst) for lst in zip(*data)] # 同样的按键在不同输入的数据集合(行列转换,读取每一列数据)
outliers = [] # 异常值
for coldata in ddt: # 遍历取出同样的按键在每一行的数据列表
a = numpy.array(coldata)
q1 = numpy.percentile(a, 25)
q3 = numpy.percentile(a, 75)
iqr = q3 - q1
# 得到异常值所在行数
outliers.extend([index for index, item in enumerate(coldata) if item > q3 + (1.5*iqr) or item < q1 - (1.5*iqr)])
for i,DDTime in enumerate(data): # 读取第i行的i值及其数据
if not i in outliers: # 如果第i行不存在异常值,则存入新文件
with open(newfile, 'a') as f:
json.dump(DDTime, f)
f.write('\n')
python:删除离群值(不同行的相同列为一类数据)
最新推荐文章于 2024-01-23 19:06:50 发布