数据挖掘-数据质量分析

最新推荐文章于 2023-12-06 18:18:11 发布
最新推荐文章于 2023-12-06 18:18:11 发布
阅读量1k 收藏 1
点赞数
分类专栏： 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011941245/article/details/111399032
版权

数据挖掘-数据质量分析

本文为从书本学习过程中的摘录

数据质量分析是数据挖掘中数据准备过程中重要的一环，是数据预处理的前提，也是数据挖掘分析结论有效性和准确性的基础。

一、缺失值分析

数据的确实主要包括数据的缺失和记录中某个字段的缺失，两者都会造成分析结果的不准确性。

缺失值的影响

  1. 数据挖掘建模将会丢失大量有用的信息。
  2. 数据挖掘模型所表现出的不确定性更加显著，模型中蕴含的规律性更难把握
  3. 包含的空值数据会使建模过程陷入混乱，导致不可靠的输出

异常值分析方法

异常值分析是校验数据数据是否有录入错误，是否含有不合理的数据。
异常值是指样本中的个别值，其数值明显偏离其他的观测值。异常值也称为离群点，异常值分析也称为离群点分析。

分析方法

简单统计分析

在进行异常值分析时，可以先对变量做一个描述性统计，进而查看哪些数据是不合理的。最常用的统计量是最大值和最小值，用来判断这个变量的取值是否超出了合理范围

3σ原则

如果数据服从正太分布，在3σ原则下，异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值。在正态分布的假设下，距离平局值3σ之外的值出现的概率为 P ( ∣ X − μ ∣ > 3 σ ) ≤ 0.003 P(|X-μ|>3σ) ≤ 0.003 P(∣X−μ∣>3σ)≤0.003

箱型图分析

箱型图提供了识别异常值的一个标准
异常值定义：小于QL - 1.5IQR或 大于 QU + 1.5IQR 的值
QL被称为下四分位，表示全部观察值中只有四分之一的数据比它小
QU被成为上四分位，表示全部观察值中只有四分之一的数据比它大
IQR被称为四分位差距，是上四分位和下四分位之差，其间包含了

最低0.47元/天 解锁文章
六月中
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
MySQL自增列AUTO_INCREMENT详解（含NULL值、初始值、指定值等说明）- MySQL基本函数和命令（四）
reading-conference-writing
09-04 1万+
MySQL可以通过AUTO_INCREMENT，实现列数据自增，一般可用于单表的唯一标识列，常见的有主键。 基本用法 样例 CREATE TABLE `test` ( `k` BIGINT(19) UNSIGNED NOT NULL AUTO_INCREMENT, `name` VARCHAR(64) NOT NULL, PRIMARY KEY (`k`), UNIQUE KEY ...
mysql的auto_increment详解
热门推荐
fwkjdaghappy1的专栏
06-14 6万+
auto_increment的基本特性 MySQL的中AUTO_INCREMENT类型的属性用于为一个表中记录自动生成ID功能，可在一定程度上代替Oracle，PostgreSQL等数据库中的sequence。 在数据库应用，我们经常要用到唯一编号，以标识记录。在MySQL中可通过数据列的AUTO_INCREMENT属性来自动生成。 可在建表时可用“AUTO_INCREMENT=n”
特性介绍 | MySQL 自增列详解（1）：自增列概念及使用
dbkernel 的博客
07-10 4886
自增列，即 AUTO_INCREMENT，可用于为新的记录生成唯一标识。要求： 2.2. 插入数据 2.3. 如何查看表的 AUTO_INCREMENT 涨到了多少？ 2.4. 插入数据时能否有空洞？ 可以的，但要注意 。 2.5. 能否插入重复记录 既然自增列是唯一记录，那么肯定不能插入重复记录。 2.6. 怎么修改 AUTO_INCREMENT 的值？ 注意：AUTO_INCREMENT 不能小于当前自增列记录的最大值。 3. 问题 3.1. 自增列是否有上限？ 由上文可见，自增列会一直增加，那是否
Clickhouse MergeTree 详细解析
vkingnew 的技术博客
06-27 1万+
在Clickhouse众多的表引擎中，MergeTree表引擎及其家族最为强大，在生产环境中的绝大数场景，都会使用此系列的表引擎。 只有MergeTree系列的表引擎才支持主键索引，数据分区，数据副本，数据采样这些特性，只有此系列的表引擎才支持ALTER操作。 MergeTree表引擎在写入一批数据的时候，数据总会以数据片段的形式写入磁盘，并且数据片段不可修改。为了避免片段过多，clickhouse会通过后台的线程，定期合并这些数据片段，属于不同分区的数据片段会被合并成一个新的片段，这种数据片段往复合并
MySQL中如何设置 auto_increment 重新计数 主键id从1开始
极客小俊
08-19 2585
居然是这样，这下我终于明白了!
Python数据挖掘-抖音数据挖掘课程设计
最新发布
06-14
在数据挖掘的背景下，抖音用户浏览行为数据分析与挖掘具有重要的意义，对抖音用户浏览行为进行数据分析与挖掘，可以了解用户的兴趣和偏好，优化用户体验，提高内容的质量和吸引力，同时也可以为广告商提供更准确的...
数据挖掘-WEKA实验报告一.pdf
07-14
这份“数据挖掘-WEKA实验报告一”详细介绍了如何使用WEKA进行数据预处理，这是数据挖掘流程中的关键步骤，旨在提高数据质量和挖掘效率。 首先，实验内容包括对WEKA工具的初步认识和数据预处理。了解WEKA的运行环境...
Python金融数据挖掘案例分析zip
12-30
在本案例中，"Python金融数据挖掘案例分析zip"是一个以Python编程语言为基础的数据挖掘项目，专注于北京市的二手房市场。这个项目旨在通过收集、清洗、分析和可视化数据，揭示出北京市二手房市场的各种趋势和特征。...
《数据挖掘与大数据分析》实验报告-数据预处理
04-21
数据挖掘和大数据分析的核心环节之一是数据预处理，这一过程对于获取有效且可靠的洞察至关重要。在《数据挖掘与大数据分析》的实验...这表明在处理真实世界的数据时，良好的数据预处理是获得高质量分析结果的必要条件。
数据挖掘-图书馆推荐系统数据集
04-09
这个“数据挖掘-图书馆推荐系统数据集”提供了一个独特的机会，让我们深入了解如何利用大数据分析来提升用户体验和服务质量。这个数据集包含了53424个用户和10000本图书的相关信息，总共涉及5869631条记录，这是一份...
hive指定字段插入数据,包含了分区表和非分区表
qq_43224174的博客
09-05 1084
hive指定字段插入数据,包含了分区表和非分区表
hive：insert into/overwrite插入分区详解
m0_46241543的博客
12-06 1735
最近在做数据清洗的工作，从ods层到dwd层对数据进行标准化。有多张表需要汇入主题表，因为表中的字段比较多，况且也不统一，需要从指定字段拿数据，并且清洗，最后汇入主题表。PS：又结束了一天忙碌的工作，祝愿大家开心生活每一天。
mysql auto_increment 重置_如何重置MySQL中的AUTO_INCREMENT？
weixin_39543478的博客
02-26 2112
你可以用下面的方法重置计数器ALTER TABLE tablename AUTO_INCREMENT = 1对于InnoDB，您不能将auto_increment值设置为低于或等于最高当前索引。 (引自ViralPatel )：请注意，您不能将计数器重置为小于或等于任何已使用的值。 对于MyISAM，如果该值小于或等于当前AUTO_INCREMENT列中的最大值，则将该值重置为当前最大值加1。 ...
mysql - 表字段值自增（auto_increment）
少年的欢喜的博客
12-15 7103
路的好坏不在于崎岖多少， 只在于谁能最终达到目标。——申宝峰 auto_increment是MySQL唯一扩展的完整性约束，当向数据库表中插入新纪录时，字段上的值会自动生成唯一的id。在设置具体的auto_increment约束时，一个数据库表中只能有一个字段使用该约束，并且该字段必须是整数类型。 -- 新建学生表 CREATE TABLE student ( id INT(6) NOT NULL PRIMARY KEY AUTO_INCREMENT, name VARCHAR(8).
自用hive with as insert into partition等综合例子
Yonggie的博客
09-14 2060
1 create table table1 as with hive1 as ( select a1, a2, a3, a4, a5, a6, a7, a8, a9
【HBZ分享】Clickhouse 之 MergeTree家族的特性---MergeTree特性
a645293829的博客
04-02 724
MergeTree特性 介绍： 1. MergeTree系列被设计用于插入极大量的数据到一张表中。 2. 数据可以 以【数据分段】的形式， 一个接着一个的写入，数据片段在后台按照一定规则进行合并，即执行插入时， 并不会立刻写入对饮的分区， 而是后台进行统一规则合并后写入的 3. 相比在插入时，立即生效，然后在进行修改(重写)存储的数据， 这种策略效率更高。因为修改的时候，要重新进行 分区，采用统一合并，就可以减少很多次分区创建。比如100条数据修改，批量操作可能就会产生几个分区，但一条
Hive分区表的分区操作
IT影风的博客
05-09 5万+
为了对表进行合理的管理以及提高查询效率，Hive可以将表组织成“分区”。一个分区实际上就是表下的一个目录，一个表可以在多个维度上进行分区，分区之间的关系就是目录树的关系。1、创建分区表通过PARTITIONED BY子句指定，分区的顺序决定了谁是父目录，谁是子目录。创建有一个分区的分区表：CREATE TABLE IF NOT EXISTS part_test(           c1     ...
hive 表创建及字段信息管理
MusicDancing的博客
11-25 1万+
1. 修改字段名或字段类型 hive表，能增加列，不可以删除列，但可以改列名; 对于分区表，要使用cascade才会对所有分区生效，否则，历史分区不会生效。 --修改字段名 alter table tablename change value1 value1_new string [cascade]; --修改字段类型 alter table tablename change column value1 value1 int [cascade]; --增加新字段 alter table tablen
数据挖掘与数据分析应用 数据处理与数据统计分析软件上机实验 SPSS方差分析 共84页.pptx
05-28
数据挖掘与数据分析在现代科学研究和商业决策中扮演着关键角色，尤其是在处理大量数据并进行深入分析时。本实验教程围绕SPSS方差分析展开，这是一种统计方法，用于确定多个独立变量如何共同影响一个连续变量，或者...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值