智能信息导论之数据处理

数据清理

忽略元祖，

忽略属性列，缺失值太多

人工填写缺失值

自动填充缺失值，用平均值或回归分析，决策树，推理树填充

处理噪音：

分箱：将数据分到几个箱子，每个箱子单独处理

聚类

回归化

把数值转换到某个范围

1.最大最小规范化
$$v=\frac{v-{\min }_a}{ma{x}_a-{\min }_b}$$

2.中心距离处以发散度
Z-zero score规范化

3.小数定标规范化
$$v=\frac{v}{10^j}$$j是使得max(|v|)<1的最小整数

数据离散化：

把0-11岁划分为婴儿，12~20为青年
先聚类再划分

减少数据量

抽样
小波变换，pca
SVD奇异值分解

特征选择

向前选择，每次选择最好的放在一个新数组

向后删除，每次选个最差的删掉

FCBF 特征选择算法

输入数据集 和 目标特征c 阈值
第一步计算每个特征和目标特征的相关性$S{U}_{kc}$
大于阈值，则选择该特征，得到新的特征数组

第二步使得数据离散化，特征相互之间相互关系不大，只与目标特征相关关系大
即把所有$S{U}_{kj}>S{U}_{kc}$的特征都删掉，即当检测到特征k和特征j他们之间相关性很大的时候就去掉他们，保证选到的特征相互之间的关系步大

ordinal顺序关系（低温和高温，学生成绩中和优之间)
不相似度$$d=|x-y|/(n-1)$$
nominal(颜色之间）

idea>stategy>method>algorithm>programming
条件信息熵
SMC simple matching coefficient