【说明】文章内容来《机器学习——基于sklearn》,用于学习记录。若有争议联系删除。
1、简介
机器学习算法往往无法直接处理文本数据,需要把文本数据转换为数值型数据,独热编码就是一种解决方法。独热(one-hot)编码又称为一位有效编码。独热编码将文本中的单词编号,构建字典结构的词汇表。其中,key是单词,value是单词的索引。词汇表有n个单词,构成n个词向量。例如,某个单词在词汇序列中的位置为k,对应的词向量的第k个位置为1,其他位置都为0。独热编码保证了每一个取值只会使得一种状态处于激活态,也就是说多种状态中只有一个状态位为1,其他状态位都是0.
独热编码具有操作简单、容易理解的优势。但是独热编码完全割裂了词与词之间的联系;而且当数据量较大时,每个向量的长度过大,会占据大量内存。
2、独热编码的步骤
独热编码的步骤:
(1)确定要编码的对象。例如[“中国”,“美国”,“英国”,“中国”]。
(2)确定分类变量。例如,中国、美国、英国共3个类别。
(3)特征的整数编码。例如中国为0,美国为1,英国为2.
独热编码为
中国 | 美国 | 英国 | |
中国 | 1 | 0 | 0 |
美国 | 0 | 1 | 0 |
英国 | 0 | 0 | 1 |
中国 | 1 | 0 | 0 |
3、独热编码实现
(1)方法一:pandas的get_dummies方法,格式如下:
pandas.get_dummies(data, sparse = False)
【参数说明】
- data:数组类型为Series或DataFrame
- spare:是否是稀疏矩阵
示例:
import pandas as pd
s = pd.Series(list('abcd'))
print(s)
s1 = pd.get_dummies(s, sparse = True)
print(s1)
【运行结果】
(2)方法二:采用sklearn 的preprocessing模块
示例:
from sklearn.preprocessing import OneHotEncoder
enc = OneHotEncoder()
enc.fit([[0,0,3],[1,1,0],[0,2,1],[1,0,2]])
ans1 = enc.transform([[0,1,3]])
ans2 = enc.transform([[0,1,3]]).toarray()#toarray()方法返回一个Object数组,它就是Object不是其他类
print(ans1)
print(ans2)
#第一个特征(即为第一列)为[0,1,0,1],其中三类特征值[0,1],因此One-Hot Code可将[0,1]表示为:[10,01]
#第二个特征(即为第二列)为[0,1,2,0],有三种值[0,1,2]:采用三个编码:[100,010,001]
#第三个特征[3,0,1,2]表示为[1000,0100,0010,0001]
#0作为第一特征编码为10,1作为第二特征编码为010,3作为第三特征编码为0001