光滑噪声数据常用的方法_几种常见的数据变换方法

在开始之前，先举一个小例子。假设小明考了80分，小华也考了80分。但前者是百分制，后者150是满分。如果我们把从这两个渠道收集上来的数据进行集成、挖掘。无论使用什么算法，结果也不是正确的。因为这两个分数，代表的含义完全不同。所以说，有时候数据变换比算法选择更重要。数据错了，算法再正确也是错的。那么，如何将不同渠道的数据进行统一呢？这就用到了数据变化。

众所周知，在数据变换前，我们需要先对字段进行筛选，然后对数据进行探索和相关性分析，接着是选择算法模型，然后针对算法模型对数据的需求进行数据变换，从而完成数据挖掘前的准备工作。

从这个流程可以看出，数据变换是数据准备的重要环节。它可以通过 数据平滑、数据聚集、数据概化和规范化等方式，将数据转换成适用于数据挖掘的形式。

一、常见的变换方法

数据平滑：去除数据中的噪声，将连续数据离散化。可采用分箱、聚类和回归的方式进行数据平滑。

数据聚集：对数据进行汇总。比如SQL 中的 Max() 、Sum() 等函数。

数据概化：将数据由较低的概念抽象成较高的概念，减少数据复杂度。即用更高的概念替代更低的概念。比如：上海、杭州、深圳可以概化为中国。

数据规范化：使属性数据按比例缩放，这样就将原来的数值映射到一个新的特定区域中，常用的方法有：Min-Max规范化、Z-score规范化、按小数定标规范化等。

属性构造：构造出新的属性并添加到属性集中。会用到特征工程的知识，因为通过属性与属性的连接构造新的属性，其实就是特征工作。比如：数据表中统计每个人的英语、语文和数学成绩&#