删除有多行字符串的json文件中的离群值
def processHold(eachsubject,directory,newfile):
filename = 'CMUDataCol/Hold/subject{0}.json'.format(eachsubject) # 原文件
with open(filename, 'r') as f:
for jsonstr in f.readlines(): # 按行读取原文件
# 这里的情况是每一行为一类数值,该行内的数据相互比较找出是否有离群值
# 若存在离群值,则删除该行数据
data = json.loads(jsonstr)
#计算四分位点
a = numpy.array(data)
q1 = numpy.percentile(a, 25)
q3 = numpy.percentile(a, 75)
iqr = q3 - q1
# 找出异常值
i = 0
for item in zip(data):
# 在正常值范围内时 i+1
if item <= q3 + (1.5*iqr) and item >= q1 - (1.5*iqr):
i = i + 1
if i == 10:
# 这里是因为我的json文件中每行data有10个元素(如果有更好的方法,请教我一下,谢谢您!)
HoldTime = data
with open(newfile, 'a') as f: # 将非离群数据存入新文件
json.dump(HoldTime, f)
f.write('\n')