mysql内数据离散化_数据预处理之离散化

按照我们对于变量的分类：分为数值变量和分类变量，数值变量可以分为连续型和离散型，分类变量又有有序的和无序的。下面我将介绍一些对于这些变量进行离散化处理。

无序分类变量的离散化方法：

比如在泰坦尼克号当中，有一个变量叫做乘客登陆的港口，取值为(C, Q, S)代表三个地方。这是一个典型的无序分类变量，我们在进行数据预处理的时候应该如何进行。 一种很容易想到的方法就是把每个值映射为一个数字，比如C=0, Q=1, S=2。 但是这样容易产生一个问题：我们实际上是把它们当做了有序的数字来进行看待了，2比1大，这就存在了顺序关系。但是我们的数据本来并不存在这样的关系。

为了解决上面的问题，我们使用独热编码(One-Hot Encoding)对无序的分类变量进行处理。对于取值有m种情况的变量，我们用m维来表示。比如上面的变量可以取值100, 010，001， 仅当样本取值为第i种情况的时候，在第i维上面编码为1，其余维均编码为0。独热编码形成的变量也叫做虚变量或者哑变量(dummpy variable)。

sklearn 中有提供的OneHotEncoder的方法

from sklearn.preprocessing importOneHotEncoder

enc=OneHotEncoder()

enc.fit([[0, 0,3], [1, 1, 0], [0, 2, 1], [1, 0, 2]])print(enc.n_values_)print(enc.transform([[0, 1, 1]]).toarray())'''数据为这样的情况

0 0 3

1 1 0

0 2 1

1 0 2

一共有三个特征