python 离群值_python:删除离群值操作(每一行为一类数据)

删除有多行字符串的json文件中的离群值

def processhold(eachsubject,directory,newfile):

filename = 'cmudatacol/hold/subject{0}.json'.format(eachsubject) # 原文件

with open(filename, 'r') as f:

for jsonstr in f.readlines(): # 按行读取原文件

# 这里的情况是每一行为一类数值，该行内的数据相互比较找出是否有离群值

# 若存在离群值，则删除该行数据

data = json.loads(jsonstr)

#计算四分位点

a = numpy.array(data)

q1 = numpy.percentile(a, 25)

q3 = numpy.percentile(a, 75)

iqr = q3 - q1

# 找出异常值

i = 0

for item in zip(data):

# 在正常值范围内时 i+1

if item <= q3 + (1.5*iqr) and item >= q1 - (1.5*iqr):

i = i + 1

if i == 10:

# 这里是因为我的json文件中每行data有10个元素(如果有更好的方法，请教我一下，谢谢您！)

holdtime = data

with open(newfile, 'a') as f: # 将非离群数据存入新文件

<