机器学习之数据处理

最新推荐文章于 2024-06-14 16:38:24 发布

HelloWorld白

最新推荐文章于 2024-06-14 16:38:24 发布

阅读量457

点赞数 8

分类专栏：机器学习文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/weixin_53801305/article/details/136083978

版权

机器学习专栏收录该内容

4 篇文章 0 订阅

订阅专栏

本文介绍了如何在深度学习项目中使用Python的Pandas库处理数据，包括读取CSV文件、处理缺失值（如使用平均值填充和独热编码）、以及将数据转换为张量格式，以适应PyTorch的需求。特别提到了在使用`get_dummies`函数时遇到的问题及其解决方法。

摘要由CSDN通过智能技术生成

数据处理

在处理具体的深度学习问题时，要从数据处理开始，在python常用的数据分析中，常常使用pandas软件包，pandas可以与张量兼容
本节将使用pandas软件包，来预处理原始数据，并将原始数据转换成张量格式的步骤。

1.读取数据集

创建一个人工数据集，并存储在CSV文件中，路径为： …/data/house_tiny.csv

import os
import pandas as pd

# 1.创建文件夹
os.makedirs(os.path.join('..','data','house_tiny.csv'),exist_ok=True)
# 2.记录文件的存储路径
datafile = os.path.join('..','data','')
# 3.写入文件
with open(datafile,'w') as f:
    f.write('NumRooms,Alley,Price\n') # 排名
    f.write('NA,Pave,127500\n') # 每行表示一个数据样本
    f.write('2,NA,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')
# 4.调用pandas中的read_csv函数，从创建的CSV文件中加载原始数据集
data = pd.read_csv(datafile)
print(data)

2.处理缺失值

NaN代表缺失值，可以利用插值法和删除法处理缺失数据，插值法：

inputs,outputs = data.iloc[:, 0:2], data.iloc[:, 2]       # iloc表示位置索引
inputs = inputs.fillna(inputs.mean())                    # data.fillna()用于填充缺失值的函数
print(inputs)

# Alley有两种类别：Alley_Pave  Alley_NaN
inputs = pd.get_dummies(inputs, dummy_na=True)            # get_dummies表示将分类变量转换成哑变量  dummy_na=True表示为缺失值创建哑变量列
print(inputs)

3.转换成张量格式

# 需要导入torch
import torch
# 此时的inputs,outputs为数值类型，需要转换成张量格式
x = torch.tensor(inputs.to_numpy(dtype=float))
y = torch.tensor(outputs.to_numpy(dtype=float))
print(x,y)

遇到的小问题：

column=作为参数传入的为一个类似列表的数据结构，因此要加上[],否则会出现TypeError: Input must be a list-like for parameter columns这个报错!

Traceback (most recent call last):
  File "E:\WorkSpace\Deep_Learning\data_operation\数据处理练习.py", line 30, in <module>
    inputs = pd.get_dummies(inputs,columns='爱好类型', dummy_na=True)
  File "C:\Users\Cindy\AppData\Roaming\Python\Python39\site-packages\pandas\core\reshape\reshape.py", line 845, in get_dummies
    raise TypeError("Input must be a list-like for parameter `columns`")
TypeError: Input must be a list-like for parameter `columns`