【研学笔记】初入深度学习——预备知识之数据预处理

【研学笔记】初入深度学习——预备知识之数据预处理

♥️作者：白日参商
🤵‍♂️个人主页：白日参商主页
♥️坚持分析平时学习到的项目以及学习到的软件开发知识，和大家一起努力呀！！！
🎈🎈加油！ 加油！ 加油！ 加油
🎈欢迎评论 💬点赞👍🏻 收藏 📂加关注+！

---

---

本节我们将简要介绍使用pandas预处理原始数据，并将原始数据转换为张量格式的步骤。 后面的章节将介绍更多的数据预处理技术。

---

一、读取数据集

举一个例子，我们首先创建一个人工数据集，并存储在CSV（逗号分隔值）文件 ../data/house_tiny.csv中。 以其他格式存储的数据也可以通过类似的方式进行处理。 下面我们将数据集按行写入CSV文件中。

import os
os.makedirs(os.path.join('..', 'data'), exist_ok=True)
data_file = os.path.join('..', 'data', 'house_tiny.csv')
# 写入数据
with open(data_file, 'w') as f:
    f.write('NumRooms,Alley,Price\n')  # 列名
    f.write('NA,Pave,127500\n')  # 每行表示一个数据样本
    f.write('2,NA,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')

我们来分析一下这段代码：我们先利用os.makedirs在当前项目目录路径下创建了一个data文件夹，os.path.join（）这个的本质是进行拼接，目的是为了拼接处路径；'..'代表的含义就是当前路径；在学这个的时候我就在想，我该怎么在绝对路径下创建呢？踩了好多坑

演示一下在C:\Users\Administrator\Desktop\模型代码\学习\data目录下创建文件夹data，在data中创建house_tiny.csv

特别注意：在windows系统当中读取文件路径可以使用\，但是在python字符串中\有转义的含义，如\t可代表TAB，\n代表换行，所以我们需要采取一些方式使得\不被解读为转义字符。所以我们在路径前加了r，否则会报错

os.makedirs(r'C:\Users\Administrator\Desktop\模型代码\学习\data', exist_ok=True)
data_file = os.path.join(r'C:\Users\Administrator\Desktop\模型代码\学习\data', 'house_tiny.csv')

创建效果：

除此以外，我们还可以导入pandas包并调用read_csv函数读取csv中的数据

# 如果没有安装pandas，只需取消对以下行的注释来安装pandas
# !pip install pandas
import pandas as pd
data = pd.read_csv(data_file)
print(data)

结果为：

   NumRooms Alley   Price
0       NaN  Pave  127500
1       2.0   NaN  106000
2       4.0   NaN  178100
3       NaN   NaN  140000

---

二、处理缺失值

为了处理缺失的数据，典型的方法包括插值法和删除法，首先我们对表格处理一下

#把表格前2列存在inputs中
#把表格第3列存在outputs中
inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
print(inputs)
print(outputs)

   NumRooms Alley
0       NaN  Pave
1       2.0   NaN
2       4.0   NaN
3       NaN   NaN
0    127500
1    106000
2    178100
3    140000
Name: Price, dtype: int64

# 对inputs中元素求平均值并将平均值替换inputs中缺失值
inputs = inputs.fillna(inputs.mean())
print(inputs)

结果为：

   NumRooms Alley
0       3.0  Pave
1       2.0   NaN
2       4.0   NaN
3       3.0   NaN

由于“巷子类型”（“Alley”）列只接受两种类型的类别值“Pave”和“NaN”， pandas可以自动将此列转换为两列“Alley_Pave”和“Alley_nan”。 巷子类型为“Pave”的行会将“Alley_Pave”的值设置为1，“Alley_nan”的值设置为0。 缺少巷子类型的行会将“Alley_Pave”和“Alley_nan”分别设置为0和1。

inputs = pd.get_dummies(inputs,dummy_na=True)
print(inputs)

结果为：

   NumRooms  Alley_Pave  Alley_nan
0       3.0           1          0
1       2.0           0          1
2       4.0           0          1
3       3.0           0          1

三、转换为张量格式

现在inputs和outputs中的所有条目都是数值类型，它们可以转换为张量格式。

X, y = torch.tensor(inputs.values), torch.tensor(outputs.values)
print(X,y)

结果为：

tensor([[3., 1., 0.],
        [2., 0., 1.],
        [4., 0., 1.],
        [3., 0., 1.]], dtype=torch.float64)
 tensor([127500, 106000, 178100, 140000])

总结

本节主要学习了如何使用pandas预处理原始数据，并将原始数据转换为张量格式的步骤。 后面我将会继续介绍更多的数据预处理技术。

🎈🎈加油！ 加油！ 加油！ 加油
🎈欢迎评论 💬点赞👍🏻 收藏 📂加关注+！