数据分析（二十五）

最新推荐文章于 2023-12-19 02:45:26 发布
最新推荐文章于 2023-12-19 02:45:26 发布
阅读量781 收藏
点赞数 1
分类专栏： 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42194337/article/details/103195960
版权
本文深入探讨了数据分析过程中的数据清洗，包括数据分布的理解，缺失值的处理，以及重点讲解了噪声值的处理方法，如盖帽法和分箱法。对于噪声值，介绍了如何通过盖帽法限制极端值，并用分箱法进行数据归类，以减少异常值的影响。
摘要由CSDN通过智能技术生成

24. 数据清洗（二）

24.1 数据分布

在这里插入图片描述

  • 右偏：平均数>中位数>众数（价格，X轴的大小）
  • 左偏：众数>中位数>平均数
  • 正态分布：三者相等

24.2 缺失值处理

连续变量分类变量
缺失值少于20%均值或者中位数不需要填补，单算一类或者用众数补充
缺失值在20%~80%均值或者中位数，(指示哑变量)不需要填补，单算一类或者用众数补充
缺失值在80%以上每个有缺失值的变量生成一个指示哑变量，参与建模，不再使用原始数据每一个有缺失值的变量生成一个指示哑变量，参与建模，不再使用原始数据

24.3 噪声处理

噪声值是指该数据中有一个或者多个数据与其他数据存在较大差异的值

噪声值，异常值，离群值

  • 单个变量：盖帽法，分箱法
  • 多个变量：聚类
24.3.1 盖帽法

在这里插入图片描述

默认情况：将小于1%分位数和大于99%分位数的值直接替换成1%或者99%（将小于1%的数，替换成1%）

24.3.2 分箱法

等宽分箱（分成数量一致的几个类）

luke9012
关注
专栏目录
大数据分析工具Power BI（十五）：制作地图分析图表
Lansonli（蓝深李）的博客
04-02 2015
正常使用地图时我们需要使用经纬度以便在地图中定位地理位置，如果表中有省市对应的字段，也可以在地图中直接使用数据中的地理字段，这就需要设置"使用地图和着色地图视觉对象"开启。需求：使用着色地图展示"2022年点播订单表"不同省份的总营收金额。以上地图展示了每个城市对应的营收情况，气泡大的营收越高，可以设置气泡的颜色来表示营收大小。常规对象中修改"标题"为"城市营收总金额"加粗并居中显示。1、设置"省份信息"表中"省份名称"数据类别为"位置"1、设置"使用地图和着色地图视觉对象"视觉对象中打开"类别标签"
python数据分析及可视化（十四）数据分析可视化练习-上市公司可视化数据分析、黑色星期五案例分析
hwwaizs的博客
11-06 2473
数据分析可视化练习-上市公司可视化数据分析、黑色星期五案例分析
大数据分析与数据挖掘课堂笔记-2
qq_46106830的博客
09-17 439
数据预处理必要性 原始数据问题：-数据清洗 数据不一致 噪声数据：明显错误，异常值 数据缺失 整理数据使其适合数据分析与挖掘工具-数据规约 数据清洗 1.缺失值处理： 1.1舍 忽略元组（分类问题中数据标签丢失，重要的数据丢失） 一条记录中某些属性缺失，则将该条记录丢弃。 忽略属性/字段（非必须的、独立性较低的属性字段） 某个属性缺失过多70%以上，这个属性就不要了 1.2补 使用中心度量值填充：对称分布用均值填充，倾斜分布用中位数填充 使用全局常量填充：0或一些标准值 使用可
异常检测（四）之基于相似度的方法
weiphm的博客
01-22 1617
相似度两个维度：距离和密度 异常值和噪声： 噪声往往是没有规律的，特性较弱，没有分析的必要性。 异常值通常具有更高的离群程度，同时解释性更强。 因此在处理噪声时，区别出异常值与噪声、正常值的区别在异常检测中比较重要。 基于距离的异常值处理办法 基于最近邻距离来定义异常值 适应范围：多维数据，单维数据 前提：异常点的 kkk 近邻距离要远大于正常点 方法：遍历或者一些改进的方法增加距离计算的速度 2.基于密度的异常值处理办法 基于距离的计算值，定义k-距离、k领域、可达距离以及局部可达密度，最后得到局部异常
离群点检测和新奇检测之离群点检测
zz2230633069的博客
07-29 4957
一、噪音和离群点（异常值）的区别： 离群点是一个数据对象，它显著不同于其他数据对象，好像它是被不同的机制产生的一样。有时也称非离群点为“正常数据”，离群点为“异常数据”。 离群点不同于噪声数据。噪声是被观测变量的随机误差或方差。一般而言，噪声在数据分析（包括离群点分析）中不是令人感兴趣的。如在信用卡欺诈检测，顾客的购买行为可以用一个随机变量建模。一位顾客可能会产生某些看上去像“随机误差”或“方差”的噪声交易，如买一份较丰盛的午餐，或比通常多要了一杯咖啡。这种交易不应该视为离群点，否则信用卡公司将因验证太
解析缺失值、异常值、离群值与噪音的奥秘
最新发布
j20163402921的博客
12-19 621
这种情况下，我们可以使用描述统计方法，如计算平均值、中位数等，来了解缺失值的分布情况。考虑一个学生成绩的数据集，通过绘制成绩的直方图，我们发现一个学生的成绩明显低于其他同学。这个极端低的成绩可能是由于考试作弊、答卷时误操作等原因引起的离群值。通过应用数据平滑技术，如移动平均，我们可以剔除这个时间点的异常高温值，从而降低噪音的影响，使数据更为平滑。处理异常值的方法包括删除、截断（将超过一定阈值的值设定为阈值）、转换数据以减缓异常值的影响等。这些数据的“幕后演员”可能影响我们对信息的理解，甚至左右我们的决策。
人工智能中噪声数据的产生与处理方法详解
showswoller的博客
04-28 4794
人工智能中噪声数据的产生与处理方法详解
数据挖掘知识点整理（期末复习版）
一只可爱的小猴子的博客
06-23 9914
DRIP（Data Rich，Information Poor） 3v : volume、velocity、Varity 数据量由TB级发展到ZB级 数据多样性从结构化转变为非结构化和结构化数据 数据传输的速度非常快 大数据导致难以应对的存储和计算量 数据挖掘就是从数据中发现知识。 从大量的数据中挖掘哪些令人感兴趣的、有用的、隐含的、先前未知的、和可能有用的模式或知识。 数据挖掘并非全自动的过程，在各个环节都可能需要人为参与。 公共安全：挖掘犯罪的规律，预防犯罪或者是减少犯罪的发生 个性化医疗：对DN
迎战2011高考物理二轮复习教学案 专题二十五 实验数据处理与结果分析.doc
06-13
迎战2011高考物理二轮复习教学案 专题二十五 实验数据处理与结果分析
数据分析——十大数据分析模型
森谷蘑的博客
06-16 2万+
（ 一 ）事件分析 （ 二 ）漏斗分析 （ 三 ）用户路径分析 （ 四 ）留存分析 （ 五 ）Session分析 （ 六 ）热力分析 （ 七 ）归因分析 （ 八 ）间隔分析 （ 九 ）分布分析 （ 十 ）属性分析
二、用于数据分析的Tableau技巧
weixin_60640479的博客
03-22 5601
以下为自己关于Tableau的学习总结 跟B站up：戴戴戴师兄 https://www.bilibili.com/video/BV1ZM4y1u7uF?p=2 1. 数据连接 （1）本地文件：csv数据连接到文本 （2）选中第一个后直接拖拽，后面选中连接字段即可（字段也可用公式计算或编辑） （3）为了保证速度一般提取方式选“数据提取”（实时是每次操作都连接一次数据库） （4）数据筛选：一般针对数据比较大的情况，筛选出需要的行数和字段 （5）这里可以将数据变成字段...
数据挖掘：数据清洗——数据噪声处理
热门推荐
AvenueCyy的博客
02-19 5万+
数据挖掘：数据预处理——数据噪声处理 一、什么是数据噪声？ 数据噪声(Noise)：数据集中的干扰数据（对场景描述不准确的数据），即测量变量中的随机误差或方差。 二、噪声数据与离群点的区别 观测量(Measurement) = 真实数据(True Data) + 噪声 (Noise)：而离群点(Outlier)属于观测量，既有可能是真实数据产生的，也有可能是噪声带来的，但是总的来说是和大部分观测...
分析数据, 缺失值处理 ,去重处理， 噪音处理
weixin_34194551的博客
12-27 1026
分析数据, 缺失值处理 ,去重处理， 噪音处理 看了charlotte的博客分析数据, 缺失值处理 学习总结，很受用，如是将她的画图的部分代码添加完整，可以运行，这样学起来更直观. 1.分析数据   在实际项目中，当我们确定需求后就会去找相应的数据，拿到数据后，首先要对数据进行描述性统计分析，查看哪些数据是不合理的，也可以知道数据的基本情况,可以通过作图的方式了解数据的质量，有无异常点，有...
异常值识别方法小结
huangqihao723的博客
04-01 3754
总览： 编号 方法 1 经验判断 2 3σ 3 dbscan 4 lof 5 isolation tree 6 one class svm 一. 经验判断 X={x1,x2,...,xn} IQR=0.75 分位数 - 0.25 分位数 outlier_min=0.25分位数-1.5IQR ou...
异常检测（四）--- 基于相似度的方法
weixin_43760925的博客
01-21 651
四、基于相似度的方法 1、概述 “异常”通常是一个主观的判断，什么样的数据被认为是“异常”的，需要结合业务背景和环境来具体分析确定。 实际上，数据通常嵌入在大量的噪声中，而我们所说的“异常值”通常指具有特定业务意义的那一类特殊的异常值。噪声可以视作特性较弱的异常值，没有被分析的价值。噪声和异常之间、正常数据和噪声之间的边界都是模糊的。异常值通常具有更高的离群程度分数值，同时也更具有可解释性。 在普通的数据处理中，我们常常需要保留正常数据，而对噪声和异常值的特性则基本忽略。但在异常检测中，我们弱化了“噪声”和
MySQL 全表扫描
辛明辉的专栏
10-10 1232
Server层 -- db1.t有200GB mysql -h$host -P$port -u$user -p$pwd -e "select * from db1.t" > $target_file 查询数据 InnoDB的数据是保存在主键索引上，全表扫描实际上是直接扫描表t的主键索引 获取一行，写到net_buffer中，默认为16K，控制参数为net_buffer_length 重复获取行，直到写满net_buffer，然后调用网络接口发出去 如果发送成功，就清空net_buffer，然后继
数据清洗：异常值识别和处理方法
sinat_41928169的博客
04-27 5321
异常数据识别 异常数据是数据分布的常态，处于特定分布区域之外的数据通常会被定义为异常或“噪音”。产生数据“噪音”的原因很多，例如业务运营操作、数据采集问题、数据同步问题等。对异常数据进行处理前，需要先辨别出哪些是真正的数据异常。 从数据异常的状态看分为两种： 一种是“伪异常”，这些异常是由于特定的运营动作产生，其实正常反映了业务状态。 一种是“真异常”，这些异常并不是由于特定的业务动作引起，而是客观反映了数据本身的分布异常。 如何判断异常值 对于有固定业务规则的可直接套用业务规则，而对于没有固定业
数据预处理_数据清理
远有青山
01-11 3万+
1、概述 实际的数据库极易受噪声、缺失值和不一致数据的侵扰，因为数据库太大，并且多半来自多个异种数据源。低质量的数据将会导致低质量的挖掘结果。有大量的数据预处理技术： - - 数据清理：可以用来清楚数据中的噪声，纠正不一致。 - - 数据集成：将数据由多个数据源合并成一个一致的数据存储，如数据仓库。 - - 数据归约：可以通过如聚集、删除冗余特征或聚类来降低数据的规模。 - - 数
异常数据检测
u012318021的专栏
01-27 523
异常数据检测，和噪声的去除在数据的分析与处理（如计算均值，分类，聚类等）中是非常重要的一步。 原始数据若不进行异常点的剔除与去噪，则可能严重影响算法的结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值