机器学习的一般流程

一、数据采集与标注

二、数据探索

1、认识数据

标称属性：标称属性的值是一些符号或事物的名称。每个值代表某种类别、编码、或状态。
二元属性：是一种标称属性；0或1
序列属性：其可能的值之间具有有意义的序或秩评定，但相继值之间的差是未知的。
数值属性：可度量的定量。区间标度，比率标度。
数据的统计描述

2、基本统计数据描述

典型度量：数据可视化方法，各种数据相似性，相异性的方法。
中心趋势度量：均值、中位数、众数、中列数(最大最小值的均值)
数据的散布：极差、四分位数等
图形化显示：分位数图、直方图、散点图—–>数据可视化

三、数据预处理

1、数据清洗

(1)、缺失值处理

(2)、异常值处理

(3)、重复值的处理

数据清洗：缺失值处理、异常值处理。
参考文章：
数据清洗(缺失值、异常值和重复值的处理)

2、数据集成

数据集成是一个数据整合的过程。通过综合各数据源，将拥有不同结构、不同属性的数据整合归纳在一起，就是数据集成。
数据集成是将不同来源的数据整合在一个数据库中的过程。

3、数据变换

数据变换是将数据从一种格式或结构转换为另一种格式或结构的过程，对数据进行规范化处理。

一些算法，例如神经网络和SVM对数据缩放非常敏感，因此，通常的做法是对特征进行调节，使数据表示更适合于这些算法。

(1)、简单函数变换

原始数据进行数学函数变换，平方、开方、取对数、差分运算。用来将不具有正太分布的数据变换成具有正太性的数据。
时间序列分析中，