机器学习笔记01——数据预处理

最新推荐文章于 2022-07-19 09:06:21 发布
最新推荐文章于 2022-07-19 09:06:21 发布
阅读量379 收藏 4
点赞数 1
分类专栏： 机器学习 文章标签： 机器学习 python 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yue200403/article/details/107033506
版权

摘要：本文主要介绍机器学习的基础内容——数据预处理。在学习研究算法之前，我们需要有处理数据的能力；主要知识点包括：数据预处理的步骤介绍、简单的代码实例、输出结果展示、详细的代码注释等内容。

目录

1.数据预处理的步骤介绍

导入需要的库——>导入数据集——>处理丢失数据——>解析分类数据——>拆分数据集——>特征缩放

2.代码实例

2.1数据文件

这里是Data.csv文件里的全部内容

Country,Age,Salary,Purchased
France,44,72000,No
Spain,27,48000,Yes
Germany,30,54000,No
Spain,38,61000,No
Germany,40,,Yes
France,35,58000,Yes
Spain,,52000,No
France,48,79000,Yes
Germany,50,83000,No
France,37,67000,Yes

2.2完整代码

#导入库
import numpy as np
import pandas as pd

from sklearn.impute import SimpleImputer
from sklearn import preprocessing
from sklearn.preprocessing import OneHotEncoder,StandardScaler
from sklearn.model_selection import train_test_split

#导入数据集
def getData():
    dataset = pd.read_csv('Data.csv')
    X = dataset.iloc[:,:-1].values#取出所有的行，（去掉最后一列 purchased）
    Y = dataset.iloc[:,3].values#取出结果
    return X,Y

#处理缺失数据 主要是数字
def proMissingData(X):
    imp_mean = SimpleImputer(missing_values=np.nan, strategy='mean')
    imp_mean = imp_mean.fit(X[:,1:3])
    X[:,1:3] = imp_mean.transform(X[:,1:3])

#解析分类数据  把数据转化成数字
def parseData(X,Y):
    le_x = preprocessing.LabelEncoder()
    # 将X的第一列，包含3个国家的取值，使用三维向量表示
    X[:,0] = le_x.fit_transform(X[:,0])
    oe = OneHotEncoder(categorical_features=[0])
    X = oe.fit_transform(X).toarray()
    # 对Y进行标签编码（NO：0；Yes：1）
    le_y = preprocessing.LabelEncoder()
    Y = le_y.fit_transform(Y)
    return X,Y

#拆分数据集为测试集和训练集
def divide(X,Y):
    X_train,X_test,Y_train,Y_test = train_test_split(X,Y,test_size = 0.2,random_state = 0)
    return X_train,X_test,Y_train,Y_test

#特征缩放
def standardScale(X_train, X_test):
    sc_X = StandardScaler()
    X_train = sc_X.fit_transform(X_train)
    X_test = sc_X.transform(X_test)
    return X_train,X_test

if __name__ == '__main__':
    X,Y = getData()
    print("1.数据导入后：")
    print("X")
    print(X)
    print("Y")
    print(Y)
    print("=============================================================================")
    proMissingData(X)
    print("2.处理缺失数据后：")
    print("X")
    print(X)
    print("Y")
    print(Y)
    print("=============================================================================")
    X,Y = parseData(X, Y)
    print("3.把数据转换成数值后：")
    print("X")
    print(X)
    print("Y")
    print(Y)
    print("=============================================================================")
    X_train, X_test, Y_train, Y_test = divide(X,Y)
    print("4.把数据拆分成训练集和测试集后：")
    print("X_train=================================")
    print(X_train)
    print("X_test=================================")
    print(X_test)
    print("Y_train=================================")
    print(Y_train)
    print("Y_test=================================")
    print(Y_test)
    print("=============================================================================")
    X_train,X_test = standardScale(X_train, X_test)
    print("5.特征缩放后：")
    print("X_train=====================================")
    print(X_train)
    print("X_test=====================================")
    print(X_test)

2.3结果展示

输出结果如下图所示：

1.数据导入后：
X
[['France' 44.0 72000.0]
 ['Spain' 27.0 48000.0]
 ['Germany' 30.0 54000.0]
 ['Spain' 38.0 61000.0]
 ['Germany' 40.0 nan]
 ['France' 35.0 58000.0]
 ['Spain' nan 52000.0]
 ['France' 48.0 79000.0]
 ['Germany' 50.0 83000.0]
 ['France' 37.0 67000.0]]
Y
['No' 'Yes' 'No' 'No' 'Yes' 'Yes' 'No' 'Yes' 'No' 'Yes']
=============================================================================
2.处理缺失数据后：
X
[['France' 44.0 72000.0]
 ['Spain' 27.0 48000.0]
 ['Germany' 30.0 54000.0]
 ['Spain' 38.0 61000.0]
 ['Germany' 40.0 63777.77777777778]
 ['France' 35.0 58000.0]
 ['Spain' 38.77777777777778 52000.0]
 ['France' 48.0 79000.0]
 ['Germany' 50.0 83000.0]
 ['France' 37.0 67000.0]]
Y
['No' 'Yes' 'No' 'No' 'Yes' 'Yes' 'No' 'Yes' 'No' 'Yes']
=============================================================================
3.把数据转换成数值后：
X
[[1.00000000e+00 0.00000000e+00 0.00000000e+00 4.40000000e+01
  7.20000000e+04]
 [0.00000000e+00 0.00000000e+00 1.00000000e+00 2.70000000e+01
  4.80000000e+04]
 [0.00000000e+00 1.00000000e+00 0.00000000e+00 3.00000000e+01
  5.40000000e+04]
 [0.00000000e+00 0.00000000e+00 1.00000000e+00 3.80000000e+01
  6.10000000e+04]
 [0.00000000e+00 1.00000000e+00 0.00000000e+00 4.00000000e+01
  6.37777778e+04]
 [1.00000000e+00 0.00000000e+00 0.00000000e+00 3.50000000e+01
  5.80000000e+04]
 [0.00000000e+00 0.00000000e+00 1.00000000e+00 3.87777778e+01
  5.20000000e+04]
 [1.00000000e+00 0.00000000e+00 0.00000000e+00 4.80000000e+01
  7.90000000e+04]
 [0.00000000e+00 1.00000000e+00 0.00000000e+00 5.00000000e+01
  8.30000000e+04]
 [1.00000000e+00 0.00000000e+00 0.00000000e+00 3.70000000e+01
  6.70000000e+04]]
Y
[0 1 0 0 1 1 0 1 0 1]
=============================================================================
4.把数据拆分成训练集和测试集后：
X_train=================================
[[0.00000000e+00 1.00000000e+00 0.00000000e+00 4.00000000e+01
  6.37777778e+04]
 [1.00000000e+00 0.00000000e+00 0.00000000e+00 3.70000000e+01
  6.70000000e+04]
 [0.00000000e+00 0.00000000e+00 1.00000000e+00 2.70000000e+01
  4.80000000e+04]
 [0.00000000e+00 0.00000000e+00 1.00000000e+00 3.87777778e+01
  5.20000000e+04]
 [1.00000000e+00 0.00000000e+00 0.00000000e+00 4.80000000e+01
  7.90000000e+04]
 [0.00000000e+00 0.00000000e+00 1.00000000e+00 3.80000000e+01
  6.10000000e+04]
 [1.00000000e+00 0.00000000e+00 0.00000000e+00 4.40000000e+01
  7.20000000e+04]
 [1.00000000e+00 0.00000000e+00 0.00000000e+00 3.50000000e+01
  5.80000000e+04]]
X_test=================================
[[0.0e+00 1.0e+00 0.0e+00 3.0e+01 5.4e+04]
 [0.0e+00 1.0e+00 0.0e+00 5.0e+01 8.3e+04]]
Y_train=================================
[1 1 1 0 1 0 0 1]
Y_test=================================
[0 0]
=============================================================================
5.特征缩放后：
X_train=====================================
[[-1.          2.64575131 -0.77459667  0.26306757  0.12381479]
 [ 1.         -0.37796447 -0.77459667 -0.25350148  0.46175632]
 [-1.         -0.37796447  1.29099445 -1.97539832 -1.53093341]
 [-1.         -0.37796447  1.29099445  0.05261351 -1.11141978]
 [ 1.         -0.37796447 -0.77459667  1.64058505  1.7202972 ]
 [-1.         -0.37796447  1.29099445 -0.0813118  -0.16751412]
 [ 1.         -0.37796447 -0.77459667  0.95182631  0.98614835]
 [ 1.         -0.37796447 -0.77459667 -0.59788085 -0.48214934]]
X_test=====================================
[[-1.          2.64575131 -0.77459667 -1.45882927 -0.90166297]
 [-1.          2.64575131 -0.77459667  1.98496442  2.13981082]]

3.相关注释

相关知识点说明：

""" 
有时特征内容并不是数值，而是字符串类型。如果直接将字符串转成一个对应的数值，造成原本的特征具有大小关系。
这是需要使用 one-hot-encode编码格式。
两种转化方式：
pandas.get_dummies()：常用方法，功能强大，操作简单；
sklearn.preprocessing.OneHotEncoder()：用法复杂且易报错，较少使用。

categorical_features表示对哪些特征进行编码
 通过索引或bool值来确定
 如 OneHotEncoder(categorical_features = [0,2]) 等价于 [True, False, True]
 即对0、2两列进行编码
 ps:如果原数据包含三列，选中0、2列进行编码时，输出数据每一项会把没有编码“1”列数据
 放在最后
"""

"""
Q1:把分类数据转化成数字的过程原理理解？
    有时特征内容并不是数值，而是字符串类型。如果直接将字符串转成一个对应的数值，造成原本的特征具有大小关系。
    这是需要使用 one-hot-encode编码格式。
    将X的第一列，包含3个国家的取值，使用三维向量表示
    对Y进行标签编码（NO：0；Yes：1）
    
Q2:train_test_split样本划分参数解释？
    参数解释：
    train_data：所要划分的样本特征集
    train_target：所要划分的样本结果
    test_size：样本占比，如果是整数的话就是样本的数量
    random_state：是随机数的种子
    cross_validatio为交叉验证
"""

4.全文总结

文章比较简单，主要用来记录一下自己的学习过程。在代码运行时可能会出现一些警告，但不影响代码的运行。

参考资料：
微信公众号：机器学习算法与python实践

往期文章推荐：
神经网络—用python实现异或运算详细解释
神经网络与深度学习笔记（一）适合刚入门的小白

yue200403
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
标称变量（Categorical Features）或者分类变量（Categorical Features​​​​​​​）缺失值填补、详解及实战
data+scenario+science+insight
05-06 1390
标称变量（Categorical Features）或者分类变量（Categorical Features）缺失值填补、详解及实战 核心学习函数或者方法： KNeighborsClassifier() np.hstack() np.vstack 有一个分类特征或者标称变量，它包含需要用预测值替换的缺失值。理想的解决方案是训练一个机器学习分类器算法来预测缺失值，通常是k-nearest neighbors (KNN)分类器来进行缺失值得填补。 KNN分类器进行缺失填补： # L..
lightgbm处理类别特征
u013385018的专栏
02-04 1万+
lightGBM的categorical_feature(类别特征)使用 http://www.luyixian.cn/news_show_253681.aspx lightGBM比XGBoost的1个改进之处在于对类别特征的处理, 不再需要将类别特征转为one-hot形式, 具体可参考这里. 在使用python API时(参考官方文档) 1.可以使用pd.DataFrame存放特征X, 每一...
【FE】处理Categorical Features
qq_43338695的博客
01-28 1934
之前的文章介绍了Numerical features，今天来介绍Categorical features。Categorical features 在我们的生活中也很常见，小到一年四季，一周七天，色彩颜色种类；大到用户id，CTR中的广告对象，这些都是属于Categorical features。 区别Numerical和Categorical的方法比较简单，那就是看数值的magnitude是否...
kaggle编码categorical feature总结
数据挖掘ing
07-02 1148
对于 categorical 特征，我们有时需要对它作一些统计，得到统计特征。 一种方式是对特征计数，统计feature value 出现的次数，或在某个类下的出现次数。这样可以当数值特征用，也可以必要的时候把不同的次数当做独立的特征(比如所有出现次数小于10的feature value，可以按次数分为10个特征)。 【参考】 1.https://blogs.technet.microsoft.com/machinelearning/2015/11/03/using-azure-ml-to-buil.
sklearn.preprocessing.LabelEncoder
weixin_42305378的博客
05-14 690
sklearn.preprocessing包提供几种常用的效用函数及转换器类，用于更改原始特征向量表示形式以适应后续评估量 sklearn.preprocessing.LabelEncoder()：标签数值化，比如把类别“男”，“女”编号为0和1。将n个类别编码为0~n-1之间的整数（包含0和n-1） 举例: # 数据处理——标签数值化 #标签diagnosis的数据类型字符串，bengin良性，malignant恶性 #使用LabelEncoder对其进行数值化，将标签值编码为0和1，使得其可以作
《机器学习》学习笔记——3.3
11-02
本笔记主要围绕《机器学习》课程中的3.3章节，探讨对率回归的基本原理、实现方法以及在Python中的应用。 对率回归的核心在于它的激活函数——对数几率函数（Logit Function），也称为Sigmoid函数。Sigmoid函数将...
C++机器学习笔记.md
最新发布
08-24
### C++机器学习笔记知识点详解 #### 一、引言 C++作为一种高效且功能强大的编程语言，在机器学习领域有着广泛的应用。通过使用C++，开发者可以深入理解各种机器学习算法的工作原理，并能够将这些算法高效地应用于...
python学习笔记-机器学习库numpy
08-19
1. 数据预处理：Numpy用于清洗、标准化和归一化数据，这是机器学习前处理的关键步骤。 2. 特征工程：通过Numpy构建新特征，如多项式特征、交互特征等。 3. 模型训练：在构建模型时，Numpy数组作为输入和输出，支持...
工业蒸汽预测——机器学习jupyter notebook笔记本
07-19
【标题】：“工业蒸汽预测——机器学习jupyter notebook笔记本” 在这个项目中，我们将探讨如何运用机器学习技术来预测工业蒸汽的生产过程。Jupyter Notebook是一个交互式计算环境，它允许我们编写、运行代码并直接...
preprocessing.LabelEncoder()使用
QAQwhq的博客
02-04 3623
preprocessing.LabelEncoder()使用 e.g. 1： from sklearn import preprocessing le = preprocessing.LabelEncoder() arr_gf = [1,2,3,'wom','wom','中文','中文'] le.fit(arr_gf) one_hot_gf = le.transform(arr_gf) print(one_hot_gf) 输出：[0 1 2 3 3 4 4] e.g. 2: csv_path = './
机器学习100天-数据预处理 [代码实现细节分析]
STILLxjy
01-15 1107
原始数据： 在Data.csv文件中我们有如下数据： 统计了10个人的基本信息：国籍，年龄，工资 以及他们对于某件商品是否购买的情况。 代码实现细节分析： （1）导入基本python包 import numpy as np import pandas as pd （2）导入数据，读取.csv文件中的数据 dataset = pd.read_csv('Data.csv') #读取指定.csv文...
【sklearn】非数值标签转换为数值标签 sklearn.preprocessing.LabelEncoder
weixin_37804469的博客
07-19 1408
LabelEncoder 数据预处理，将非数值标签转换为数字标签
sklearn.preprocessing.LabelEncoder的使用
weixin_30767835的博客
12-17 3072
在训练模型之前，我们通常都要对训练数据进行一定的处理。将类别编号就是一种常用的处理方法，比如把类别“男”，“女”编号为0和1。可以使用sklearn.preprocessing中的LabelEncoder处理这个问题。 作用 将n个类别编码为0~n-1之间的整数（包含0和n-1）。 例子 假设我们要对性别数据进行编码，则数据可以分为两种情况：无NaN，有NaN。 首先导入要使用的包 import ...
lightGBM使用
人生虚空
12-03 7854
1.categorical_feature(类别特征)使用 lightGBM比XGBoost的1个改进之处在于对类别特征的处理, 不再需要将类别特征转为one-hot形式, 具体可参考这里. 在使用python API时(参考官方文档) 1.1可以使用pd.DataFrame存放特征X, 每一列表示1个特征, 将类别特征设置为X[cat_cols].astype('category'). 这样模型...
机器学习：数据预处理之独热编码（One-Hot）详解
热门推荐
赵英超的博客
01-03 5万+
一. 什么是独热编码？ ———————————————————————————————————————— 在机器学习算法中，我们经常会遇到分类特征，例如：人的性别有男女，祖国有中国，美国，法国等。 这些特征值并不是连续的，而是离散的，无序的。通常我们需要对其进行特征数字化。 那什么是特征数字化呢？例子如下： 性别特征：["男"，"女"] 祖国特征：["中国"，"美国，"法国"...
One-hot编码
healer的博客
03-23 6297
什么是Onehot编码？onehot编码又叫独热编码，其为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效。 Onehot编码是分类变量作为二进制向量的表示。这首先要求将分类值映射到整数值。然后，每个整数值被表示为二进制向量，除了整数的索引之外，它都是零值，它被标记为1。 举个例子： 在机器学习算法中，我们经常会遇到分类特征。 例如：人的性别有男女，祖国有中国，美国，法国等。这些特征值并不是连续的，而是离散的，无序的。 通常我们需要对其
Python之sklearn：LabelEncoder函数简介(编码与编码还原)、使用方法、具体案例(在数据缺失和test数据内存在新值(train数据未出现过)环境下的数据LE化)之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
10-31 2万+
Python之sklearn：LabelEncoder函数简介(编码与编码还原)、使用方法、具体案例之详细攻略 目录 LabelEncoder函数的简介(编码与编码还原) LabelEncoder函数的使用方法 LabelEncoder函数的具体案例 1、在数据缺失和test数据内存在新值(train数据未出现过)环境下的数据LabelEncoder化 LabelEncoder函数的简介(编码与编码还原) class LabelEncoder Found at: sklearn
python:sklearn标签编码(LabelEncoder)
lzz555517的博客
09-07 1万+
python:sklearn标签编码(LabelEncoder) sklearn.preprocessing.LabelEncoder的使用： 在训练模型之前，通常都要对数据进行一定得处理。将类别编号是一种常用的处理方法，比如把类别“电脑”，“手机”编号为0和1，可使用LabelEncoder函数。 作用 将n个类别编码为0~n-1之间的整数(包括0和n-1) 例子 假设对电子产品数据进行编码，数据可以分为两种情况：有NaN，无NaN 方法一：使用fit()函数及transform()函数 from skl
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yue200403

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值