MATLAB 基础知识 数据类型 表 清除表中的杂乱数据和缺失数据

最新推荐文章于 2024-08-22 09:55:12 发布
最新推荐文章于 2024-08-22 09:55:12 发布
阅读量2.7k 收藏 26
点赞数 2
分类专栏： matlab基础知识 文章标签： matlab
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013883025/article/details/117715893
版权

本文演示了如何查找、清除和删除具有缺失数据的行。

加载样本数据

从一个逗号分隔的文本文件 messy.csv 加载样本数据。该文件包含许多不同的缺失数据指示符：

空字符向量 (’’)

句点 (.)

NA

NaN

-99

要指定将视为空值的字符向量，请将 ‘TreatAsEmpty’ 名称-值对组参数与 readtable 函数结合使用。（您可以使用 disp 函数来显示全部 21 行，即使以实时脚本方式运行此示例时也可以如此操作。）

T = readtable('messy.csv','TreatAsEmpty',{'.','NA'});
disp(T)
       A         B          C          D       E  
    ________    ____    __________    ____    ____

    {'afe1'}       3    {'yes'   }       3       3
    {'egh3'}     NaN    {'no'    }       7       7
    {'wth4'}       3    {'yes'   }       3       3
    {'atn2'}      23    {'no'    }      23      23
    {'arg1'}       5    {'yes'   }       5       5
    {'jre3'}    34.6    {'yes'   }    34.6    34.6
    {'wen9'}     234    {'yes'   }     234     234
    {'ple2'}       2    {'no'    }       2       2
    {'dbo8'}       5    {'no'    }       5       5
    {'oii4'}       5    {'yes'   }       5       5
    {'wnk3'}     245    {'yes'   }     245     245
    {'abk6'}     563    {0x0 char}     563     563
    {'pnj5'}     463    {'no'    }     463     463
    {'wnn3'}       6    {'no'    }       6       6
    {'oks9'}      23    {'yes'   }      23      23
    {'wba3'}     NaN    {'yes'   }     NaN      14
    {'pkn4'}       2    {'no'    }       2       2
    {'adw3'}      22    {'no'    }      22      22
    {'poj2'}     -99    {'yes'   }     -99     -99
    {'bas8'}      23    {'no'    }      23      23
    {'gry5'}     NaN    {'yes'   }     NaN      21

T 是一个包含 21 行和 5 个变量的表。‘TreatAsEmpty’ 仅适用于文件中的数值列，无法处理指定为文本形式的数值（例如 ‘-99’）。

汇总表

使用 summary 函数创建汇总表来查看每个变量的数据类型、说明、单位和其他描述性统计量。

summary(T)
Variables:

    A: 21x1 cell array of character vectors

    B: 21x1 double

        Values:

            Min             -99   
            Median          14    
            Max             563   
            NumMissing      3     

    C: 21x1 cell array of character vectors

    D: 21x1 double

        Values:

            Min             -99   
            Median          7     
            Max             563   
            NumMissing      2     

    E: 21x1 double

        Values:

            Min         -99   
            Median       14   
            Max         563

当从文件中导入数据时，默认情况是让 readtable 以字符向量元胞数组形式读取包含非数值元素的任何变量。

查找具有缺失值的行

显示表 T 中至少具有一个缺失值的行子集。

TF = ismissing(T,{'' '.' 'NA' NaN -99});
rowsWithMissing = T(any(TF,2),:);
disp(rowsWithMissing)
       A         B         C          D      E 
    ________    ___    __________    ___    ___

    {'egh3'}    NaN    {'no'    }      7      7
    {'abk6'}    563    {0x0 char}    563    563
    {'wba3'}    NaN    {'yes'   }    NaN     14
    {'poj2'}    -99    {'yes'   }    -99    -99
    {'gry5'}    NaN    {'yes'   }    NaN     21

readtable 已将数值变量 B、D 和 E 中的 ‘.’ 和 ‘NA’ 替换为 NaN。

替换缺失值指示符

清除相应数据，以将代码 -99 所指示的缺失值替换为标准的 MATLAB 数值缺失值指示符 NaN。

T = standardizeMissing(T,-99);
disp(T)
       A         B          C          D       E  
    ________    ____    __________    ____    ____

    {'afe1'}       3    {'yes'   }       3       3
    {'egh3'}     NaN    {'no'    }       7       7
    {'wth4'}       3    {'yes'   }       3       3
    {'atn2'}      23    {'no'    }      23      23
    {'arg1'}       5    {'yes'   }       5       5
    {'jre3'}    34.6    {'yes'   }    34.6    34.6
    {'wen9'}     234    {'yes'   }     234     234
    {'ple2'}       2    {'no'    }       2       2
    {'dbo8'}       5    {'no'    }       5       5
    {'oii4'}       5    {'yes'   }       5       5
    {'wnk3'}     245    {'yes'   }     245     245
    {'abk6'}     563    {0x0 char}     563     563
    {'pnj5'}     463    {'no'    }     463     463
    {'wnn3'}       6    {'no'    }       6       6
    {'oks9'}      23    {'yes'   }      23      23
    {'wba3'}     NaN    {'yes'   }     NaN      14
    {'pkn4'}       2    {'no'    }       2       2
    {'adw3'}      22    {'no'    }      22      22
    {'poj2'}     NaN    {'yes'   }     NaN     NaN
    {'bas8'}      23    {'no'    }      23      23
    {'gry5'}     NaN    {'yes'   }     NaN      21

standardizeMissing 将三个 -99 替换为 NaN。

创建一个新表 T2，然后将缺失值替换为该表的前一行中的值。fillmissing 提供了许多方法来填充缺失值。

T2 = fillmissing(T,'previous');
disp(T2)
       A         B         C        D       E  
    ________    ____    _______    ____    ____

    {'afe1'}       3    {'yes'}       3       3
    {'egh3'}       3    {'no' }       7       7
    {'wth4'}       3    {'yes'}       3       3
    {'atn2'}      23    {'no' }      23      23
    {'arg1'}       5    {'yes'}       5       5
    {'jre3'}    34.6    {'yes'}    34.6    34.6
    {'wen9'}     234    {'yes'}     234     234
    {'ple2'}       2    {'no' }       2       2
    {'dbo8'}       5    {'no' }       5       5
    {'oii4'}       5    {'yes'}       5       5
    {'wnk3'}     245    {'yes'}     245     245
    {'abk6'}     563    {'yes'}     563     563
    {'pnj5'}     463    {'no' }     463     463
    {'wnn3'}       6    {'no' }       6       6
    {'oks9'}      23    {'yes'}      23      23
    {'wba3'}      23    {'yes'}      23      14
    {'pkn4'}       2    {'no' }       2       2
    {'adw3'}      22    {'no' }      22      22
    {'poj2'}      22    {'yes'}      22      22
    {'bas8'}      23    {'no' }      23      23
    {'gry5'}      23    {'yes'}      23      21

删除具有缺失值的行

创建一个新表 T3，该表仅包含 T 中不带缺失值的行。T3 只有 16 行。

T3 = rmmissing(T);
disp(T3)
       A         B         C        D       E  
    ________    ____    _______    ____    ____

    {'afe1'}       3    {'yes'}       3       3
    {'wth4'}       3    {'yes'}       3       3
    {'atn2'}      23    {'no' }      23      23
    {'arg1'}       5    {'yes'}       5       5
    {'jre3'}    34.6    {'yes'}    34.6    34.6
    {'wen9'}     234    {'yes'}     234     234
    {'ple2'}       2    {'no' }       2       2
    {'dbo8'}       5    {'no' }       5       5
    {'oii4'}       5    {'yes'}       5       5
    {'wnk3'}     245    {'yes'}     245     245
    {'pnj5'}     463    {'no' }     463     463
    {'wnn3'}       6    {'no' }       6       6
    {'oks9'}      23    {'yes'}      23      23
    {'pkn4'}       2    {'no' }       2       2
    {'adw3'}      22    {'no' }      22      22
    {'bas8'}      23    {'no' }      23      23

T3 包含 16 行和 5 个变量。

组织数据

先根据 C 以降序对 T3 的行进行排序，然后根据 A 以升序排序。

T3 = sortrows(T2,{'C','A'},{'descend','ascend'});
disp(T3)
       A         B         C        D       E  
    ________    ____    _______    ____    ____

    {'abk6'}     563    {'yes'}     563     563
    {'afe1'}       3    {'yes'}       3       3
    {'arg1'}       5    {'yes'}       5       5
    {'gry5'}      23    {'yes'}      23      21
    {'jre3'}    34.6    {'yes'}    34.6    34.6
    {'oii4'}       5    {'yes'}       5       5
    {'oks9'}      23    {'yes'}      23      23
    {'poj2'}      22    {'yes'}      22      22
    {'wba3'}      23    {'yes'}      23      14
    {'wen9'}     234    {'yes'}     234     234
    {'wnk3'}     245    {'yes'}     245     245
    {'wth4'}       3    {'yes'}       3       3
    {'adw3'}      22    {'no' }      22      22
    {'atn2'}      23    {'no' }      23      23
    {'bas8'}      23    {'no' }      23      23
    {'dbo8'}       5    {'no' }       5       5
    {'egh3'}       3    {'no' }       7       7
    {'pkn4'}       2    {'no' }       2       2
    {'ple2'}       2    {'no' }       2       2
    {'pnj5'}     463    {'no' }     463     463
    {'wnn3'}       6    {'no' }       6       6

在 C 中，各行首先按 ‘yes’ 分组，然后再按 ‘no’ 分组。然后在 A 中，各行以字母顺序排列。

对表进行重新排序，以使 A 和 C 彼此相邻。

T3 = T3(:,{'A','C','B','D','E'});
disp(T3)
       A           C        B       D       E  
    ________    _______    ____    ____    ____

    {'abk6'}    {'yes'}     563     563     563
    {'afe1'}    {'yes'}       3       3       3
    {'arg1'}    {'yes'}       5       5       5
    {'gry5'}    {'yes'}      23      23      21
    {'jre3'}    {'yes'}    34.6    34.6    34.6
    {'oii4'}    {'yes'}       5       5       5
    {'oks9'}    {'yes'}      23      23      23
    {'poj2'}    {'yes'}      22      22      22
    {'wba3'}    {'yes'}      23      23      14
    {'wen9'}    {'yes'}     234     234     234
    {'wnk3'}    {'yes'}     245     245     245
    {'wth4'}    {'yes'}       3       3       3
    {'adw3'}    {'no' }      22      22      22
    {'atn2'}    {'no' }      23      23      23
    {'bas8'}    {'no' }      23      23      23
    {'dbo8'}    {'no' }       5       5       5
    {'egh3'}    {'no' }       3       7       7
    {'pkn4'}    {'no' }       2       2       2
    {'ple2'}    {'no' }       2       2       2
    {'pnj5'}    {'no' }     463     463     463
    {'wnn3'}    {'no' }       6       6       6
结冰架构
关注
专栏目录
MATLAB算法实战应用案例精讲-【深度学习】多尺度特征提取(补充篇)
qq_36130719的博客
04-16 946
传统特征提取方法的研究过程和思路是非常有用的，因为这些方法具有较强的可解释性，它们对设计机器学习方法解决此类问题提供启发和类比。有部分人认为（也有部分人反对）现有的卷积神经网络与这些特征提取方法有一定类似性，因为每个滤波权重实际上是一个线性的识别模式，与这些特征提取过程的边界与梯度检测类似。同时，池化（Pooling）的作用是统筹一个区域的信息，这与这些特征提取后进行的特征整合（如直方图等）类似。通过实验发现卷积网络开始几层实际上确实是在做边缘和梯度检测。
MATLAB算法实战应用案例精讲-【数据分析】数据治理
qq_36130719的博客
09-14 1143
元数据是是关于数据的组织、数据域及其关系的信息，简单来说，元数据就是被用来描述数据的数据。元数据管理是指为确保正确创建、存储和管理元数据，在企业中一致地定义数据有关的活动。
Matlab入门：实现简单的数据剔除
weixin_30348519的博客
09-07 6914
时间仓促，仅为了数学建模入门使用 代码简单描述： 随机生成一组数据 手动添加奇怪的数据值 使用数据判断对数据进行清洗 生成直方图、求平均值对处理前、处理后的数据进行对比 代码如下： 1 >> aa=randn(1000,1)/10; 2 >> aa(100)=aa(100)+3; 3 >> aa(301)=aa(301)+5...
用matlab进行数据清洗的流程（数据读取、筛选、清洗、保存和报告生成）
最新发布
2301_81287499的博客
08-22 1345
1. 读取Excel文件 2. 初始化存储被移除的用户编号 3. 创建一个新的表格来存储清洗后的数据 4. 获取所有用户编号 5. 遍历每个用户进行处理 6. 获取日期和96个数据点 7. 筛选无效天数 8. 检查无效天数是否超过全年的三分之一 9. 清洗零值 10. 将清洗后的数据添加到总表格中 11. 保存清洗后的数据到新的Excel文件 12. 输出被移除的用户列表
matlab如何剔除无用数据
小凡的专栏
04-27 2万+
matlab.rar_MATLAB 剔除坏值_matlab异常值_异常值_数据剔除_数据异常值
07-14
可以剔除数据中的异常值，一个很实用的matlab小程序。
matlab开发-导入和删除Excel文件
08-22
matlab开发-导入和删除Excel文件。使用ActiveX将Excel数据导入工作区的自定义和灵活功能。
MATLAB（1）
MM999666的博客
10-28 7052
MATLAB 第一章 MATALB基础技能 第1节 MATLAB窗口 1、语言修改 中文版：预设——MATLAB——常规 英文版：Preferences——MATLAB——General 2、布局 中文版：布局 英文版：layout 3、帮助 可以搜索一些指令 第2节 命令行 1、常用指令及格式 （1）清除操作 clc 清理命令行显示 clear 清理变量 close all 关闭所有绘图窗口 clf 清除当前图像窗口 （2）快捷键 上下键：调用之前输入过的一些命令 esc：删除刚输入的一段 （3）换行
“使用3D编码器-预测器网络和形状合成进行形状补全”
158680使用3D编码器-预测器CNN和形状合成进行形状补全0Angela ...0摘要0我们引入了一种数据驱动的方法，通过体积深度神经网络和3D形状合成的组合来完成部分的3D形状。从部分扫描的输入形状开始，我们的方法首先推断出
全国大学生数据统计与分析竞赛2021年【本科组】-A题：基于特征挖掘及文本分析的硕士学位论文质量评估（附获奖论文及python代码实现）
getusushu的博客
05-21 843
掘与评语的文本分析相结合，建立全面的论文质量评估模型，并对专家打分的一致性。每篇论文的总分最低分，再以每篇论文的总分最低分为依据，将论文进行学科门类内。属相似度最大的方面，接着，基于情感词典对评论情感进行量化分析，细粒度情感计。型特征，最终可得优秀论文的整体水平比淘汰论文高，且专家对优秀论文的认可度高。针对问题四，为求解论文的综合得分，我们选取各论文的总分平均分，三个平均。评论得分，所属学科类别水平作为评价论文质量的指标，建立层次分析模型，将。区间内，再将该得分转化到与论文总分相近的区间，得到每篇论文的。
怎么用matlab剔除数据的异常值（3σ准则）
热门推荐
weixin_44719615的博客
06-25 5万+
参考：https://blog.csdn.net/weixin_30633405/article/details/95177009 3σ准则又称为拉依达准则，它是先假设一组检测数据只含有随机误差，对其进行计算处理得到标准偏差，按一定概率确定一个区间， 认为凡超过这个区间的误差，就不属于随机误差而是粗大误差，含有该误差的数据应予以剔除。且3σ适用于有较多组数据的时候。 这种判别处理原理及方法仅局限于对正态或近似正态分布的样本数据处理，它是以测量次数充分大为前提的， 当测量次数较少的情形用准则剔除粗大误
matlab 离群值去除方法,数据清洗中异常值（离群值）的判别和处理方法
weixin_34296646的博客
03-24 1万+
前天参加面试的时候被问了一个题：选择什么样的指标来代表总体情况？我回答的不是很好，具体怎么回答的记不太清了，感觉回答的不是很好。回来后吸取教训，查了查资料简单总结：如果是类别变量，可以用众数来代表总体。如果是连续变量，可以用平均数或中位数来代表总体。如果数据的异常值、极端异常值比较多，那么尽可能使用中位数；如果没有太明显的异常值，平均数更具有代表性。那这里就引申出一个问题，异常值的识别。异常值(o...
Matlab如何根据残差批量删除回归中的异常值
qq_42480302的博客
06-03 2152
b为beta0和beta1系数，bint为置信区间，r为残差向量，rint为残差置信区间；s包括决定系数r^2，F值，F检验的p值，剩余方差。于是，可以使用如下代码批量剔除异常值（快速找到解决办法途径，还是ChatGPT啊，虽然每次给的代码不一定完全准确，但按图索骥总是解决问题的）数字2可以根据自己需求替换，如1-对异常值更严格，3-对异常值更放松。其中一组数据，只有少量的异常值（如图1），还手动标记个案编号，手动删除的。
Matlab速成技巧：数学建模中的数据预处理全攻略
qq_44103359的博客
05-11 1604
在数学建模和数据分析领域，Matlab 是一个强大的工具，它提供了丰富的函数和工具箱来处理各种数据预处理任务。数据预处理是数据分析的关键步骤，它包括数据清洗、数据转换、特征选择等多个方面。本文将详细介绍在Matlab中如何进行数据预处理，并提供实用的示例。
使用MATLAB进行异常值剔除的详细教程及完整程序
m0_57781768的博客
06-22 3199
异常值（Outliers）是指在数据集中明显偏离其他观测值的数据点。这些数据点可能由于测量误差、数据输入错误或真实的特殊情况而产生。在统计分析中，异常值的存在可能会导致分析结果的偏差，因此需要进行识别和处理。本文详细介绍了使用MATLAB进行异常值剔除的两种常见方法，即基于标准差的方法和基于箱线图的方法，并提供了完整的MATLAB程序代码。通过详细的代码解析和示例，读者可以深入理解异常值剔除的基本原理和实现方法，并掌握使用MATLAB进行异常值剔除的技巧。
MATLAB去除数据中的异常值、离群值
狂小虎/Anthony Dave的博客 KuangXiaoHu's Blogs
04-11 2万+
用rmoutliers()函数即可移除数据组中的离群值，可作数据清洗的初步方法。如果是移除一类数据，可以用方差分析、主成分析、相关性分析、皮尔逊相关系数等方法。
matlab干掉图中不需要的数据，不会删除曲线
weixin_57551514的博客
04-14 1239
matlab干掉图中不需要的数据，不会删除曲线
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

结冰架构

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值