Python数据挖掘——数据预处理

Python数据挖掘——数据预处理

  • 数据预处理
    • 数据质量
      • 准确性、完整性、一致性、时效性、可信性、可解释性
    • 数据预处理的主要任务
      • 数据清理
      • 数据集成
      • 数据归约
        • 维归约
        • 数值归约
      • 数据变换
        • 规范化
        • 数据离散化
        • 概念分层产生
  • 数据清理(试图填充缺失的值,光滑噪声并识别离群点,纠正数据的不一致)
    • 缺失值
      • 忽略元组
      • 人工填写缺失值
      • 使用一个全局常量填充缺失值
      • 使用属性的中心度量(均值/中位数)填充缺失值
      • 使用与给定元组属于同一类的所有样本的均值/中位数
      • 使用最可能的值 填充缺失值
      • 注:某些情况,缺失值并不代表错误
    • 噪声数据(噪声是被测量的变量的随机误差或方差)
      • 分箱(通过考察数据的近邻,来光滑有序数据值)
        • 用箱均值
        • 用箱中位数
        • 用箱边界
      • 回归
      • 离群点分析(通过聚类来检测离群点)
    • 数据清理化为一个过程
      • 首先进行偏差检测,还要防止字段过载
        • 唯一性规则
        • 连续性规则
        • 空值规则
      • 偏差检测商业工具
        • 数据清洗工具
        • 数据审计工具
      • 数据迁移工具
        • EIL工具
  • 数据集成
    • 实体识别问题
    • 冗余和相关分析
    • 元组重复
    • 数据值冲突的检测与处理
  • 数据归约
    • 数据变换与数据离散化
发布了53 篇原创文章 · 获赞 33 · 访问量 5949
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 技术工厂 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览