数据分析实战之数据转换

1、数据变换可以将不同渠道的数据统一到一个目标数据库里。
在数据变换前，需要先对字段进行筛选，然后对数据进行探索和相关性分析，接着是选择算法模型，然后针对算法模型对数据的需求进行数据变换，从而完成数据挖掘前的准备工作

数据变换是数据准备的重要环节，它通过数据平滑、数据聚集、数据概化和规范化等方式将数据转换成适用于数据挖掘的形式。

2、常见的变换方法：

• 数据平滑：去除数据中的噪声，将连续数据离散化。可以采用分箱、聚类和回归的方式进行数据平滑
• 数据聚集：对数据进行汇总。在SQL中有一些函数可以供我们操作，如max（），sum（）。
• 数据概化：将数据由较低的概念抽象成为较高的概念，减少数据复杂度，即用较高的概念替代更低的概念。
• 数据规范化：使属性数据按比例缩放，这样将原来的数值映射到一个新的特定区域中。常用的方法有最小—最大规范化，Z—score规范化，按小数定标规范化
• 属性构造：构造出新的属性并添加到属性集中。通过属性与属性的连接构造新的属性，其实就是特征工程。

3、数据规范化的几种方法**
1）Min-max 规范化：是将原始数据变换到 [0,1] 的空间中，用公式表示就是：
新数值 = （原数值 - 极小值）/（极