1.数据清洗
a.缺失数据可能的原因:设备故障,隐私数据,不适用
b.如何处理缺失数据:忽视,重填,自动重填
c.离群点(outlier):与整体的差异较大的点
d.差异点(anomaly):与其他点相比有问题的点
2.异常值与重复数据检测
a.离群点的定位:相对的距离 比值 LOF值越大
b.重复数据
3.类型转换与采样
a.类型:连续性、离散型、ordinal、nominal、string
b.采样:解决时间复杂度
c.1)不平衡数据:
G-mean=(ACC正*ACC负)的1/2次方
F-measure=(2*Precision*Recall)/(Precision+Recall)
2)向上取样、边界取样
3)SMOTE(Synthetic Minority Oversampling Technique)即合成少数类过采样技术:对少数d.类样本通过插值进行上采样
4.数据描述与可视化
a.数据标准化
有上下界:v'=[(v-min)/(max-min)]*(new-max - new-min)+new-min
无明确上下界:v'=(v-μ)/σ
b.数据描述
平均值、中位数、mode(频率)、variance(离散程度)
r(a,b)=0 ----a和b呈非线性相关
c.数据可视化
高纬度函数:box plots、 parallel coordinates
软件:citespace、gephi
5.特征选择
a.entropy(熵) information gain值越大越好
6.主成分分析
7.线性判别分析