Python机器学习实战:如何处理非数值特征

本文介绍了在机器学习中如何处理非数值特征,如分类变量和文本数据。针对分类变量,讲解了标签编码和独热编码,强调独热编码在处理分类特征时的适用性,同时提到了虚拟变量陷阱和多重共线性问题。对于文本数据,介绍了word counts和TF-IDF方法将其转化为数值矩阵。
摘要由CSDN通过智能技术生成

机器学习实战:这里没有艰深晦涩的数学理论,我们将用简单的案例和大量的示例代码,向大家介绍机器学习的核心概念。我们的目标是教会大家用Python构建机器学习模型,解决现实世界的难题。

机器学习模型要求输入为数值变量,特征必须是大小为(n_samples, n_features)的数值矩阵,目标是(n_samples, 1)的数值向量。但现实世界的数据集有可能包含非数值数据,例如分类变量,文本数据和图像。

这时候需要进行数据预处理(data preprocessing),即采用一些技巧将非数值变量转换为数值变量。

1. 分类变量

分类变量通常分为两种:有序和无序。

  • 有序:类别可以相互比较,有大小之分,可以直接转化为数值变量。假设代表收入的变量’income’有3个类别,‘low’,‘medium’,‘high’,分别代表低收入,中等收入,高收入,类别是可以直接比较的,并且可以排序,‘low’ < ‘medium’ < ‘high’。
  • 无序:类别不可以比较,需要引入虚拟变量(dummy variable),常用编码技术是独热编码(one-hot encoding)。例如代表性别的变量’gender’有两个类别,‘male’和’female’,但’male’ < 'female’的关系并不成立。

将分类变量转化为数值变量有两种常用方法:标签编码和独热编码。

1.1 标签编码

标签编码(label encoding): 将分类变量的类别编码为数字。

用sklearn.preprocessing.LabelEncoder实现,将包含k个类别的分类变量编码为 0 , 1 , 2 , . . . ( k − 1 ) 0,1,2,...(k-1) 0,1,2,...(k1)

标签编码一般不用于特征,而是用于目标变量。

假设一个代表性别的特征’gender’,包含两个类别:‘male’,‘female’。标签编码将类别编码为整数,0代表男性,1代表女性。但这不符合模型背后的假设,因为机器学习模型认为数据有算数含义,例如0 < 1,这意味着男性 < 女性,但这种关系不成立。一般会使用独热编码处理分类特征,标签编码仅用于分类目标

接下来说明如何使用标签编码,假设目标变量代表股票价格趋势,有3种可能的类别,‘up’,‘down’,‘range’.

from sklearn.preprocessing import LabelEncoder

# 目标变量
y = ["up", "up", "down", "range", "up", "down", "range", "range", "down"]

# 创建LabelEncoder对象
le = LabelEncoder()

# 拟合数据
le.fit(y)

# 查看包含哪些类别
print("classes: ", le.classes_)

# 编码为数字
print("encoded labels: ", le.transform(y))

# 调用inverse_transform实现反向操作
print("inverse encoding: ", le.inverse_transform([0, 1, 2]))
classes:  ['down' 'range' 'up']
encoded labels:  [2 2 0 1 2 0 1 1 0]
inverse encoding:  ['down' 'range' 'up']

1.2 独热编码

独热编码(one hot encoding): 将包含m个类别的分类变量转化为 n ∗ m n*m nm的二元矩阵,n是观测值数量,m是类别数量。

假设分类变量’car_type’,表示汽车类型,包含类别(BMW, Tesla, Audi),独热

  • 5
    点赞
  • 33
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值