python:删除离群值(不同行的相同列为一类数据)

def processDD(eachsubject,directory,newfile):
	filename = 'CMUDataCol/DD/subject{0}.json'.format(eachsubject) # 原文件
	
	with open(filename, 'r') as f:        
		data = [json.loads(line) for line in f] # 遍历读取每一次输入的不同按键数据(读取每一行数据)        
		ddt = [list(lst) for lst in zip(*data)] # 同样的按键在不同输入的数据集合(行列转换,读取每一列数据)
		
		outliers = [] # 异常值
		
		for coldata in ddt: # 遍历取出同样的按键在每一行的数据列表            
			a = numpy.array(coldata)            
			q1 = numpy.percentile(a, 25)            
			q3 = numpy.percentile(a, 75)            
			iqr = q3 - q1
			
			# 得到异常值所在行数 		
			outliers.extend([index for index, item in enumerate(coldata) if item > q3 + (1.5*iqr) or item < q1 - (1.5*iqr)])                
			
		for i,DDTime in enumerate(data): # 读取第i行的i值及其数据            
			if not i in outliers: # 如果第i行不存在异常值,则存入新文件               
				with open(newfile, 'a') as f:                           
					json.dump(DDTime, f)                   
					f.write('\n') 
  • 1
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值