对于有监督分类模型,输入特征有两种形式,连续型特征和离散型特征。对于常见的cv任务,比如分类、检测、分割等,输入仅为图像特征,它是连续型特征。而对于多模态分类的任务,比如短视频理解与推荐,它的输入包含了用户特征、广告特征、标题特征和视频特征。对于这种同时有连续型和离散型输入特征的情况,应该如何处理呢?
一句话来说,离散型特征,需要先做one-hot编码,才能送入机器学习模型中。
1 为什么要做one-hot?
假设输入有多个类别型特征,包括了颜色特征,不妨将将Red、Green、Blue分别编号为0、1、2。假设输入batch中的数据的颜色为Red或者Blue,且它们的比例相同,那么在经过神经网络中的加权求和运算后, 取值为1,也就是说,输入数据只有Red或者Blue,网络却输出了Green,这显然是不合理的。若采用one-hot编码,即输入特征为[1, 0, 0]和[0, 0, 1],输出特征为[0.5, 0, 0.5]这显然是合理的。
2 编码过程可视化
以性别、星期、居住城市、这3个类别特征为例,它们需要经过如下步骤,
步骤一:分别做one-hot编码,即 Gender=Male ∈ \in ∈ {男、女} 表示成[1, 0],week=Wednesday表示成[0, 0, 1, 0, 0, 0, 0],City=Zhengzhou ∈ \in ∈ {北京、深圳、郑州 } 表示成[0, 0,1];
步骤二:将所有的onehot编码特征首尾相连,构成新的输入向量 x = [ 1 , 0 , 0 , 0 , 1 , 0 , 0 , 0 , 0 , 0 , 0 , 1 ] x=[1, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1] x=[1,0,0,0,1,0,0,0,0,0,0,1];
步骤三:将输入向量和权重做矩阵乘法运算,得到当前网络层的输出;
图像化表示如下,
注意:上图中的embedding层等价于,先将输入的三个类别特征分别求取embedding向量形式,然后将embedding向量逐像素求和。显然,只有当出入为一个类别特征时,embedding层才能表示其对应的embedding特征。
数学表达形式如下,
x × W = [ 1 , 0 , 0 , 0 , 1 , 0 , 0 , 0 , 0 , 0 , 0 , 1 ] × W 12 × k = [ w 1 , 1 + w 5 , 1 + w 12 , 1 , w 1 , 2 + w 5 , 2 + w 12 , 2 , . . . , w 1 , k + w 5 , k + w 12 , k ] = [ w 1 , 1 , w 1 , 2 , . . . , w 1 , k ] + [ w 5 , 1