怎么用matlab剔除数据的异常值(3σ准则)

参考:https://blog.csdn.net/weixin_30633405/article/details/95177009

3σ准则又称为拉依达准则,它是先假设一组检测数据只含有随机误差,对其进行计算处理得到标准偏差,按一定概率确定一个区间,

认为凡超过这个区间的误差,就不属于随机误差而是粗大误差,含有该误差的数据应予以剔除。且3σ适用于有较多组数据的时候。

这种判别处理原理及方法仅局限于对正态或近似正态分布的样本数据处理,它是以测量次数充分大为前提的,

当测量次数较少的情形用准则剔除粗大误差是不够可靠的。因此,在测量次数较少的情况下,最好不要选用准则,而用其他准则。

在正态分布中σ代表标准差,μ代表均值。x=μ即为图像的对称轴

3σ原则为

数值分布在(μ-σ,μ+σ)中的概率为0.6826

数值分布在(μ-2σ,μ+2σ)中的概率为0.9544

数值分布在(μ-3σ,μ+3σ)中的概率为0.9974

可以认为,Y 的取值几乎全部集中在(μ-3σ,μ+3σ)区间内,超出这个范围的可能性仅占不到0.3%.

 

我的数据是244*119,即有244组样品,第一列是位置信息,随后的各个列为变量信息,即每一列为一个变量,剔除每一列中的异常值。

下面的代码实现的功能是找出剔除的异常值的位置信息,

for ii = 3:119
    P=data_jd(:,ii);
    ave = mean(P);%mean 求解平均值
    u = std(P);%求解标准差
    for i = 1:244
        if(abs(P(i)-ave)>3*u)
            P(i) = 0;
            P_ans = P(P==0);
            len=length(P_ans);
            if len == []
                continue
            else
                location=find(P==0)
                if len == 1
                    loc(1,ii)=location
                else
                    for iii=1:len
                        loc(iii,ii)=location(iii)
                    end
                end
            end
        else
            continue;
        end
    end

end

ans=loc(loc~=0);
ans=unique(ans);#删除重复的值

%% 根据索引去除异常值
data_jd(ans,:)=[]

 

 

  • 32
    点赞
  • 391
    收藏
    觉得还不错? 一键收藏
  • 37
    评论
Matlab中,我们常常使用"3σ准则"来判断随机误差和异常值。随机误差是一种在数据测量中普遍存在的随机变动,而异常值则是一种与其他数据明显不同的异常情况。 首先,我们需要计算数据的均值和标准差。均值表示数据的集中趋势,标准差表示数据的离散程度。在Matlab中,我们可以使用"mean"函数和"std"函数来计算均值和标准差。 接下来,我们可以使用"3σ准则"来判断异常值。根据"3σ准则",在正态分布的假设下,大约有68%的数据位于均值加减一个标准差的范围内,约有95%的数据位于均值加减两个标准差的范围内,约有99.7%的数据位于均值加减三个标准差的范围内。 因此,我们可以将均值减去三倍的标准差,得到一个下限值,将均值加上三倍的标准差,得到一个上限值。在这个范围之外的数据可以被视为异常值。 在Matlab中,我们可以使用以下代码来实现随机误差和异常值的分离: 1. 计算数据的均值和标准差: ``` data = [1, 2, 3, 4, 5, 10, 15, 20, 25]; % 示例数据 mean_val = mean(data); std_val = std(data); ``` 2. 计算上限和下限值: ``` lower_limit = mean_val - 3 * std_val; upper_limit = mean_val + 3 * std_val; ``` 3. 根据上限和下限值来判断异常值: ``` outliers = data(data < lower_limit | data > upper_limit); ``` 通过以上步骤,我们可以得到异常值的集合"outliers",其中包含了数据中超出"3σ准则"范围的异常值。注意,这只是一种常用方法,对于特定数据集,根据实际情况可能需要调整"3σ准则"的阈值。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 37
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值