数据预处理

1.数据清洗
    a.缺失数据可能的原因：设备故障，隐私数据，不适用
    b.如何处理缺失数据：忽视，重填，自动重填
    c.离群点（outlier）：与整体的差异较大的点
    d.差异点（anomaly）：与其他点相比有问题的点

2.异常值与重复数据检测
    a.离群点的定位：相对的距离 比值 LOF值越大
    b.重复数据

3.类型转换与采样
    a.类型：连续性、离散型、ordinal、nominal、string
    b.采样：解决时间复杂度
    c.1)不平衡数据:
           G-mean=(ACC正*ACC负）的1/2次方
           F-measure=(2*Precision*Recall)/(Precision+Recall)
      2)向上取样、边界取样
      3)SMOTE（Synthetic Minority Oversampling Technique）即合成少数类过采样技术：对少数d.类样本通过插值进行上采样

4.数据描述与可视化
    a.数据标准化
        有上下界：v'=[（v-min）/（max-min)]*(new-max - new-min)+new-min
        无明确上下界：v'=（v-μ）/σ
    b.数据描述
        平均值、中位数、mode（频率）、variance（离散程度）
        r（a,b）=0 ----a和b呈非线性相关
    c.数据可视化
        高纬度函数：box plots、 parallel coordinates
        软件：citespace、gephi

5.特征选择
    a.entropy（熵）  information gain值越大越好

6.主成分分析

7.线性判别分析