数据变换是数据分析的关键步骤，包括数据平滑、数据聚集、数据概化和规范化等。本文详细介绍了小数定标规范化，这是一种通过移动小数点位置进行数据标准化的方法。此外，还讲解了Python的SciKit-Learn库如何实现数据规范化，如Min-Max、Z-Score和小数定标规范化，并强调了数据变换在数据挖掘中的重要性。
有时候数据变换比算法选择更重要，数据错了，算法再正确也错的。这就是为什么数据分析师80%的时间会花在前期的数据准备上了。那么如何让不同渠道的数据统一到一个目标数据库里呢？这样就用到了数据变换。
数据挖掘前的准备工作
在数据变换前，需要对数据进行筛选，然后进行数据探索和相关性分析，接着选择算法模型，然后针对算法模型对数据进行数据变换，从而完成数据挖掘前的准备工作。
所以你从整个流程中可以看出，数据变换是数据准备的重要环节，它通过数据平滑、数据聚集、数据概化和规范化等方式将数据转换成适用于数据挖掘的形式。
数据变换的四种常见方法
1、数据平滑
去除数据噪声，将连续数据离散化。主要是用分箱、聚类和回归方式等算法进行数据平滑。
2、数据聚集
对数据进行汇总，SQL中有一些聚集函数可以供我们操作，比如Max()反馈某个字段的数值最大值，Sum()返回某个字段的数值总和。
3、数据概化
将数据由较低的概念抽象成为较高的概念，减少数据复
最低0.47元/天 解锁文章
扫一扫
1401
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
