One-hot编码

目录

One-hot编码概念

One-hot编码的优缺点


One-hot编码概念

One-Hot 编码,又称一位有效编码。其方法是使用 N 位状态寄存器来对 N 个状态进行编码,每个状态都有它独立的寄存器位,并且在任意时候,其中只有一位有效。

One-Hot编码是分类变量作为二进制向量的表示。这首先要求将分类值映射到整数值。然后,每个整数值被表示为二进制向量,除了整数的索引之外,它都是零值,它被标记为1。
 

举个栗子:

按照 N位状态寄存器 来 对N个状态 进行编码的原理,处理后应该是这样的

性别特征:["男","女"] (这里只有两个特征,所以 N=2):

男  =>  10

女  =>  01

祖国特征:["中国","美国,"法国"](N=3):

中国  =>  100

美国  =>  010

法国  =>  001

运动特征:["足球","篮球","羽毛球","乒乓球"](N=4):

足球  =>  1000

篮球  =>  0100

羽毛球  =>  0010

乒乓球  =>  0001

所以,当一个样本为 ["男","中国","乒乓球"] 的时候,完整的特征数字化的结果为:

[1,0,1,0,0,0,0,0,1]

下图可能会更好理解:

 Python代码:

from sklearn import preprocessing  
   
enc = preprocessing.OneHotEncoder()  
enc.fit([[0,0,3],[1,1,0],[0,2,1],[1,0,2]])  # 训练。这里共有4个数据,3种特征
   
array = enc.transform([[0,1,3]]).toarray()  # 测试。这里使用1个新数据来测试
   
print array   # [[ 1  0  0  1  0  0  0  0  1]] # 独热编码结果

以上对应关系可以解释为下图:

测试数据:                      [0,1,3]

对应位置:                  01 012 0123

one-hot编码结果:      10 010 0001

One-hot编码的优缺点

优点:
(1) 解决了 分类器不好处理离散数据的问题。

    a. 欧式空间。在回归,分类,聚类等机器学习算法中,特征之间距离计算 或 相似度计算是非常重要的,而我们常用的距离或相似度的计算都是在欧式空间的相似度计算,计算余弦相似性,基于的就是欧式空间。

    b. one-hot 编码。使用 one-hot 编码,将离散特征的取值扩展到了欧式空间,离散特征的某个取值就对应欧式空间的某个点。将离散型特征使用 one-hot 编码,确实会让特征之间的距离计算更加合理。

(2) 在一定程度上也起到了 扩充特征 的作用。

缺点:
在文本特征表示上有些缺点就非常突出了。

(1) 它是一个词袋模型,不考虑词与词之间的顺序(文本中词的顺序信息也是很重要的);

(2) 它假设词与词相互独立(在大多数情况下,词与词是相互影响的);

(3) 它得到的特征是离散稀疏 的 (这个问题最严重)。

(4)过度自信,容易导致过拟合。

为什么得到的特征是离散稀疏的?

    例如,如果将世界所有城市名称作为语料库的话,那这个向量会过于稀疏,并且会造成维度灾难。如下:

    杭州 [0,0,0,0,0,0,0,1,0,……,0,0,0,0,0,0,0]
    上海 [0,0,0,0,1,0,0,0,0,……,0,0,0,0,0,0,0]
    宁波 [0,0,0,1,0,0,0,0,0,……,0,0,0,0,0,0,0]
    北京 [0,0,0,0,0,0,0,0,0,……,1,0,0,0,0,0,0]

    在语料库中,杭州、上海、宁波、北京各对应一个向量,向量中只有一个值为1,其余都为0。

特别的:

one-hot编码与哈希编码的区别:

one-hot编码:

哈希编码:

注:针对one-hot的过度自信,容易导致过拟合的缺点,GoogleNet v3提出了标签平滑(label smoothing)策略。

详见:标签平滑(label smoothing)

  • 4
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Billie使劲学

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值