Note_002 数据预处理【深度学习_学习笔记】

BeYoung0623

已于 2023-03-23 10:51:06 修改

阅读量148

点赞数

分类专栏：【笔记】动手学深度学习文章标签：深度学习学习 python

于 2023-03-22 14:25:57 首次发布

本文链接：https://blog.csdn.net/weixin_43737451/article/details/129705827

版权

【笔记】动手学深度学习专栏收录该内容

7 篇文章 0 订阅

订阅专栏

本文介绍了如何使用pandas处理含有缺失值的数据集，通过插值法填充缺失值，然后利用get_dummies处理类别特征，最后将处理后的数据转换为张量格式，以便于深度学习模型使用。示例代码展示了从创建小型数据集到转换为张量的完整过程。

摘要由CSDN通过智能技术生成

为了能用深度学习来解决现实世界的问题，我们经常从预处理原始数据开始，而不是从那些准备好的张量格式数据开始。
在Python中常用的数据分析工具中，我们通常使用pandas软件包，像庞大的Python生态系统中的许多其他扩展包一样，pandas可以与张量兼容。
下面将简要介绍使用pandas预处理原始数据，并将原始数据转换为张量格式的步骤。

读取数据集

import os
import pandas as pd

os.makedirs(os.path.join('.', 'data'), exist_ok=True)      # 递归创建文件夹，文件夹默认属性为777，exist_ok默认为False，如果文件夹已存在则报OSError
data_file = os.path.join('.', 'data', 'house_tiny.csv')    # 创建文件
with open(data_file, 'w') as f:
    f.write('NumRooms,Alley,Price\n')                       # 列名
    f.write('NA,Pave,127500\n')                             # 每行表示一个数据样本
    f.write('2,NA,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')

data = pd.read_csv(data_file)                               # 读取csv文件               
print(data)                                                 #    NumRooms Alley   Price
                                                            # 0       NaN  Pave  127500
                                                            # 1       2.0   NaN  106000
                                                            # 2       4.0   NaN  178100
                                                            # 3       NaN   NaN  140000

处理缺失值

“NaN”项代表缺失值。为了处理缺失的数据，典型的方法包括插值法和删除法，其中插值法用一个替代值弥补缺失值，而删除法则直接忽略缺失值。在这里，我们将考虑插值法。

通过位置索引 iloc ，我们将data分成inputs和outputs，其中前者为data的前两列，而后者为data的最后一列。对于inputs中缺少的数值，用同一列的均值替换“NaN”项。

import os
import pandas as pd

os.makedirs(os.path.join('.', 'data'), exist_ok=True)      # 递归创建文件夹，文件夹默认属性为777，exist_ok默认为False，如果文件夹已存在则报OSError
data_file = os.path.join('.', 'data', 'house_tiny.csv')    # 创建文件
with open(data_file, 'w') as f:
    f.write('NumRooms,Alley,Price\n')                       # 列名
    f.write('NA,Pave,127500\n')                             # 每行表示一个数据样本
    f.write('2,NA,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')
data = pd.read_csv(data_file)                                   # 读取csv文件 
inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
# inputs = inputs.fillna(inputs.mean())                         # FutureWarning: The default value of numeric_only in DataFrame.mean is deprecated. 
#                                                               # In a future version, it will default to False. 
#                                                               # In addition, specifying 'numeric_only=None' is deprecated. 
#                                                               # Select only valid columns or specify the value of numeric_only to silence this warning.
#                                                               # inputs = inputs.fillna(inputs.mean())

#                                                               # mean()函数用于求取均值
# print(inputs)
# 对于inputs中的类别值或离散值，我们将“NaN”视为一个类别。
# 由于“巷子类型”（“Alley”）列接受三种类型的类别值“Pave”，“Dave”和“NaN”， pandas可以自动将此列转换为三列“Alley_Pave”，“Alley_Dave”和“Alley_nan”。 
# 巷子类型为“Pave”的行会将“Alley_Pave”的值设置为1，“Alley_nan”的值设置为0。 
# 缺少巷子类型的行会将“Alley_Pave”，“Alley_Pave”和“Alley_nan”分别设置为0和1。
inputs = pd.get_dummies(inputs, dummy_na=True)                  # dummy_na默认为False,设置为True表示将NaN视为一个类别
print(inputs)                                                   #    NumRooms  Alley_Dave  Alley_Pave  Alley_nan
                                                                # 0       NaN           0           1          0
                                                                # 1       2.0           1           0          0
                                                                # 2       4.0           0           0          1
                                                                # 3       NaN           0           0          1

转换为张量格式

现在inputs和outputs中的所有条目都是数值类型，它们可以转换为张量格式。
当数据采用张量格式后，可以通过在 :numref:sec_ndarray中引入的那些张量函数来进一步操作。

import os
import pandas as pd

import torch

os.makedirs(os.path.join('.', 'data'), exist_ok=True)      # 递归创建文件夹，文件夹默认属性为777，exist_ok默认为False，如果文件夹已存在则报OSError
data_file = os.path.join('.', 'data', 'house_tiny.csv')    # 创建文件
with open(data_file, 'w') as f:
    f.write('NumRooms,Alley,Price\n')                       # 列名
    f.write('NA,Pave,127500\n')                             # 每行表示一个数据样本
    f.write('2,Dave,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')

data = pd.read_csv(data_file)                                   # 读取csv文件 
inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
inputs = inputs.fillna(inputs.mean())
inputs = pd.get_dummies(inputs, dummy_na=True)                  # dummy_na默认为False,设置为True表示将NaN视为一个类别

X, y = torch.tensor(inputs.values), torch.tensor(outputs.values)
print(X,"\n",y)                                                 # tensor([[3., 0., 1., 0.],
                                                                #         [2., 1., 0., 0.],
                                                                #         [4., 0., 0., 1.],
                                                                #         [3., 0., 0., 1.]], dtype=torch.float64) 
                                                                # tensor([127500, 106000, 178100, 140000])

小结

pandas软件包是Python中常用的数据分析工具中，pandas可以与张量兼容。
用pandas处理缺失的数据时，我们可根据情况选择用插值法和删除法。

练习

创建包含更多行和列的原始数据集。

删除缺失值最多的列。
将预处理后的数据集转换为张量格式。

练习答案

import os
import pandas as pd

import torch
os.makedirs(os.path.join('.', 'data'), exist_ok=True)      # 递归创建文件夹，文件夹默认属性为777，exist_ok默认为False，如果文件夹已存在则报OSError
data_file = os.path.join('.', 'data', 'house_tiny.csv')    # 创建文件
with open(data_file, 'w') as f:
    f.write('NumRooms,Alley,Price,Space\n')                       # 列名
    f.write('NA,Pave,127500,150\n')                             # 每行表示一个数据样本
    f.write('2,Dave,106000,NA\n')
    f.write('4,NA,178100,NA\n')
    f.write('NA,NA,140000,NA\n')
    f.write('NA,NA,NA,NA\n')
    f.write('NA,Dove,NA,NA\n')
    f.write('NA,Dove,15000,NA\n')


data = pd.read_csv(data_file)                                   # 读取csv文件 

nan_num = data.isnull().sum()                                   # 获取每列Nan数量的列表
nan_max_id = nan_num.idxmax()                                   # 获取最多Nan的列名
print(nan_max_id)                                               # Space
print(data)                                                     #    NumRooms Alley     Price  Space
                                                                # 0       NaN  Pave  127500.0  150.0
                                                                # 1       2.0  Dave  106000.0    NaN
                                                                # 2       4.0   NaN  178100.0    NaN
                                                                # 3       NaN   NaN  140000.0    NaN
                                                                # 4       NaN   NaN       NaN    NaN
                                                                # 5       NaN  Dove       NaN    NaN
                                                                # 6       NaN  Dove   15000.0    NaN

print(data.drop(nan_max_id,axis=1))                             # 删除缺失值最多的列        axis = 0表示行操作，axis = 1表示列操作。
                                                                #    NumRooms Alley     Price
                                                                # 0       NaN  Pave  127500.0
                                                                # 1       2.0  Dave  106000.0
                                                                # 2       4.0   NaN  178100.0
                                                                # 3       NaN   NaN  140000.0
                                                                # 4       NaN   NaN       NaN
                                                                # 5       NaN  Dove       NaN
                                                                # 6       NaN  Dove   15000.0

inputs = data.drop(nan_max_id,axis=1)
inputs = inputs.fillna(inputs.mean(numeric_only=True),axis=0)
inputs = pd.get_dummies(inputs, dummy_na=True)
print(inputs)   
X = torch.tensor(inputs.values)
print(X)                                                        # tensor([[3.0000e+00, 1.2750e+05, 0.0000e+00, 0.0000e+00, 1.0000e+00, 0.0000e+00],
                                                                #         [2.0000e+00, 1.0600e+05, 1.0000e+00, 0.0000e+00, 0.0000e+00, 0.0000e+00],
                                                                #         [4.0000e+00, 1.7810e+05, 0.0000e+00, 0.0000e+00, 0.0000e+00, 1.0000e+00],
                                                                #         [3.0000e+00, 1.4000e+05, 0.0000e+00, 0.0000e+00, 0.0000e+00, 1.0000e+00],
                                                                #         [3.0000e+00, 1.1332e+05, 0.0000e+00, 0.0000e+00, 0.0000e+00, 1.0000e+00],
                                                                #         [3.0000e+00, 1.1332e+05, 0.0000e+00, 1.0000e+00, 0.0000e+00, 0.0000e+00],
                                                                #         [3.0000e+00, 1.5000e+04, 0.0000e+00, 1.0000e+00, 0.0000e+00, 0.0000e+00]],
                                                                #        dtype=torch.float64)

BeYoung0623

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Note_002 数据预处理【深度学习_学习笔记】

NaN”项代表缺失值。为了处理缺失的数据，典型的方法包括插值法和删除法，其中插值法用一个替代值弥补缺失值，而删除法则直接忽略缺失值。在这里，我们将考虑插值法。，其中前者为data的前两列，而后者为data的最后一列。对于inputs中缺少的数值，用同一列的均值替换“NaN”项。创建包含更多行和列的原始数据集。，我们将data分成。
复制链接

扫一扫