03数据预处理

数据预处理

1.为什么数据预处理

2.数据为什么脏

3.为什么数据预处理是重要的

4.数据质量

5.数据预处理的主要任务

6.数据预处理的形式

数据清理

1.如何处理缺失数据

2.如何处理噪音数据

数据集成

1.模式集成、冲突数据值、冗余数据

数据变换

规范化数据的方法 ：最小-最大规范化、Z-score 规范化、小数定标规范化

数据归约

1.数据归约策略

2.数据立方体聚集

3.数据压缩

4.维度规约-特征选择

5.唯独规约-决策树归约

6.维度归约=属性/特征产生

7.主成分分析

6.回归和对数线性模型

离散化和概念分层产生

# dataArr = []# lebalArr = []# line = open("data/horseColic.txt","r")# b = line.readlines()# for i in line:#      b = line.strip("\n").split("\t")#      dataArr.append(b.pop())#      lebalArr.append(b)# print(dataArr)# print(lebalArr)