数据预处理与关联

数据预处理与关联

数据质量的含义

• 正确性
• 一致性
• 完整性
• 可靠性

在建立数据仓库的时候，由于各种原因造成里数据错误的不可避免性，所以便需要对数据进行预处理。

形式

• 数据清理
  • 缺失值：忽略、人工填写、全局变量填充、属性平均值填充、最可能值填充、所有同类样本平均值填充。
  • 噪声数据：分箱(按箱平均值、按箱中指、按箱边界)、聚类、回归、计算机和人工检查结合
• 数据集成
  • 实体识别
  • 属性冗余
  • 数据重复
  • 数据值冲突的检测与处理
• 数据交换
  • 平滑
  • 聚类
  • 数据概化
  • 规范化
  • 属性构造
• 数据归约

关联

管理挖掘

在交易数据、关系数据或其他信息载体中，查找存在于项目集合或对象集合之间的频繁模式、关联、相关性、或因果结构。

支持度与可信度

Apriori

频繁项集的任何子集也一定是频繁项集

频繁项集

满足最小支持度的项目集合

第n层向n+1层转换时，要求前n-1项相同。

提高Apriori效率的方法

• 基于Hash的项集计数
• 减少交易记录
• 划分
• 抽样

提高Apriori效率的方法

• 基于Hash的项集计数
• 减少交易记录
• 划分
• 抽样
• 动态项集计数