OneHot编码用于用于生产解决维度问题

不知道大家在使用OneHot编码的过程中有没有遇到这样的问题，比如在训练样本中某一列的值(离散)为“green” "red" "yellow"，并对其进行了one-hot编码，效果如下：

当在生产环境中实时读取新增数据时，出现一些训练样本中未见过的数据，如"green" "blue"，其one-hot编码如下：

那么在这种情况下会导致数据维度不一致，但由于训练好的模型输入维度是确定的，这可能会导致模型无法正常计算，那么如何解决这个问题呢？

可以使用pandas中的Categorical解决这个问题，具体代码如下：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
__author__ = 'Seven'
import pandas as pd

train_words = ['green', 'red', 'yellow']
product_words = pd.Series(['green', 'blue'])

product_words_op = pd.Categorical(product_words, categories=train_words)

print(pd.get_dummies(product_words_op))

执行效果如下：

由于green已知类别的列表中，green的所有one-hot编码条目都为零。如果你在生产数据中发现了新的数据，那么对应的行应该都是0。此种方法可以在一定程度上解决生产环境中的维度问题导致模型无法计算。