数据挖掘笔记:分类和预测,判定树

1分类
- 预测分类号(或离散值)
- 分局训练数据集和类标号属性, 构建模型来分类现有数据, 并用来分类新数据
2预测
- 建立连续函数值模型, 比如预测空缺值
3典型应用
欺诈检测、市场定位、性能预测、医疗诊断

数据分类—一个两步过程

1. 第一步，也成为学习步，目标是建立描述预先定义的数据类或概念集的分类器
   
   • 假定每个元组属于一个预定义的类, 有一个类标号属性确定
   • 基本概念
   • 训练数据集: 由为建立模型而被分析的数据元组生成
   • 训练样本: 训练数据集中的单个样本(元组)
   • 学习模型可以用分类预测, 判定树或数学公式的形式提供
2. 使用模型, 对将来的或未知的对象进行分类
   
   • 对每个测试样本, 将已知类标号和该样本的学习模型类预测比较
   • 模型在给定测试集上的准确率是正确被模型分类的测试样本的百分比
   • 测试集要独立于训练样本集, 否则会出现”过分拟合”的情况

有监督学习和无监督学习

监督学习（用于分类）

• 模型的学习在被告知每个训练样本属于哪个类的“指导”下进行
• 新数据使用训练数据集中得到的规则进行分类

无监督学习（用于聚类）

• 每个训练样本的类编号是未知的，要学习的类集合或数量也可能是事先未知的
• 通过一系列的度量、观察来建立数据中的类编号或进行聚类

数据预测的两步过程’

• 数据预测也是一个两步的过程，类似于前面描述的数据分类
  
  1. 对于预测，没有“类标号属性”
  2. 要预测的属性是连续值，而不是离散值，该属性可简称“预测属性”
• 预测器可以看作一个映射或函数y=f(X)
  
  1. 其中X是输入；y是输出，是一个连续或有序的值
  2. 与分类类似，准确率的预测，也要使用单独的测试集

数据预处理

通过对数据进行预处理，可以提高分类和预测过程的准确性、有效性和可伸缩性(数据量变化效率变化小认为伸缩性好)

1.数据清理
- 消除或减少噪声ÿ