matlab拉依达法,Matlab笔记——数据预处理(1)——剔除异常值及平滑处理012

测量数据在其采集与传输过程中，由于环境干扰或人为因素有可能造成个别数据不切合实际或丢失，这种数据称为异常值。为了恢复数据的客观真实性以便将来得到更好的分析结果，有必要先对原始数

据(1)剔除异常值；

另外，无论是人工观测的数据还是由数据采集系统获取的数据，都不可避免叠加上“噪声”干扰(反映在曲线图形上就是一些“毛刺和尖峰”)。为了提高数据的质量，必须对数据进行(2)平滑处理(去

噪声干扰)；

(一)剔除异常值。

注：若是有空缺值，或导入Matlab 数据显示为“NaN ”(非数)，

需要①忽略整条空缺值数据，或者②填上空缺值。

填空缺值的方法，通常有两种：A. 使用样本平均值填充；B. 使用判定树或贝叶斯分类等方法推导最可能的值填充(略)。

一、基本思想：

规定一个置信水平，确定一个置信限度，凡是超过该限度的误差，

就认为它是异常值，从而予以剔除。

二、常用方法：拉依达方法、肖维勒方法、一阶差分法。

注意：这些方法都是假设数据依正态分布为前提的。

1. 拉依达方法(非等置信概率)

如果某测量值与平均值之差大于标准偏差的三倍，则予以剔除。 其中，11n i i x x n ==∑为样本均值，12

211()1n x i i S x x n =?? ???=--∑为样本的标准偏差。