python连续变量离散化_python数据分析之数据离散化——等宽&等频&聚类离散

数据离散化的意义

数据离散化是指将连续的数据进行分段，使其变为一段段离散化的区间。分段的原则有基于等距离、等频率或优化的方法。

离散化的原因

1.模型限制

比如决策树、朴素贝叶斯等算法，都是基于离散型的数据展开的。如果要使用该类算法，必须将离散型的数据进行。有效的离散化能减小算法的时间和空间开销，提高系统对样本的分类聚类能力和抗噪声能力。

2. 离散化的特征更易理解

比如工资收入，月薪2000和月薪20000，从连续型特征来看高低薪的差异还要通过数值层面才能理解，但将其转换为离散型数据(底薪、高薪)，则可以更加直观的表达出了我们心中所想的高薪和底薪。

3. 使模型结果更加稳定

比如如果对用户年龄离散化，20-30作为一个区间，不会因为一个用户年龄长了一岁就变成一个完全不同的人。当然处于区间相邻处的样本会刚好相反，所以怎么划分区间是门学问，如果按区间离散化，划分区间是非常关键的。

4. 调高计算效率

离散特征的增加和减少都很容易，易于模型的快速迭代。(离散特征的增加和减少，模型也不需要调整，重新训练是必须的，相比贝叶斯推断方法或者树模型方法迭代快)。稀疏向量内积乘法运算速度快，计算结果方便存储，容易扩展。

5. 图像处理中的二值化处理

将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像。这样有利于图像的进一步处理，使图像变得简单，而且数据量减小，能凸显出感兴趣的目标的轮廓。

连续数据离散化方法

等宽离散法：等距区间或自定义区间进行离散，有点是灵活，保持原有数据分布<