机器学习(二) | 数据预处理

读取数据集

import os

os.makedirs(os.path.join('..', 'data'), exist_ok=True)
#创建了一个变量data_file，用来存储CSV文件的路径
data_file = os.path.join('..', 'data', 'house_tiny.csv')
with open(data_file, 'w') as f:
#这是一个Python的上下文管理器语法。它打开了一个文件，文件名由data_file指定，
#以写入（'w'）模式打开。文件对象被赋值给变量f，并在with块内使用。
    f.write('NumRooms,Alley,Price\n')  # 列名
    f.write('NA,Pave,127500\n')  # 每行表示一个数据样本,NA表示未知
    f.write('2,NA,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')

对于第一行代码

- `os.makedirs`: 这是一个用于创建目录的函数，位于Python的`os`模块中。
- `os.path.join('..', 'data')`: 这部分使用`os.path.join()`函数来创建一个路径，将`'..'`和`'data'`连接在一起。`'..'`表示当前目录的父目录，而`'data'`表示一个名为"data"的子目录。
- `exist_ok=True`: 这是`os.makedirs`函数的一个参数。当设置为`True`时，如果目录已经存在，就不会引发错误，而是会继续执行而不做任何操作。如果设置为`False`（默认值），则会引发`FileExistsError`异常，表示目录已存在。

import pandas as pd#常使用pandas来读取数据

data = pd.read_csv(data_file)#读取csv文件
print(data)

data#也可以不print()形式更好看一点，以html格式

处理缺失值

处理缺失值的方法包括插值法和删除法

inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
inputs = inputs.fillna(inputs.mean())
print(inputs)

   NumRooms Alley
0       3.0  Pave
1       2.0   NaN
2       4.0   NaN
3       3.0   NaN

inputs = inputs.fillna(inputs.mean())

这行代码的含义是用每列的均值来填充DataFrame中的缺失值。让我来详细解释一下：

- `inputs` 是一个DataFrame，里面包含了一些数据。
- `fillna()` 是一个Pandas DataFrame 方法，用于填充缺失值（NaN或None）。
- `inputs.mean()` 计算了每列的均值。
- 因此，`inputs.fillna(inputs.mean())` 将DataFrame中的缺失值用每列的均值来填充。

这样做的好处是，在许多情况下，用均值填充缺失值可以保持数据的整体分布特征，并且不会引入太多的偏差。

inputs = pd.get_dummies(inputs, dummy_na=True)

这行代码使用 Pandas 的 `get_dummies()` 函数将 DataFrame 中的分类变量（categorical variables）转换为哑变量（dummy variables）。具体来说，它会将每个分类变量拆分为多个二进制变量，并为每个类别创建一个新的列，表示该类别是否存在。

参数 `dummy_na=True` 指示函数将 NaN 值视为一个特殊的类别，并为它创建一个额外的列，表示 NaN 的存在或缺失。

这行代码的效果是对 DataFrame `inputs` 中的所有分类变量执行独热编码，并在必要时包括 NaN 值的信息。

print(inputs)

   NumRooms  Alley_Pave  Alley_nan
0       3.0           1          0
1       2.0           0          1
2       4.0           0          1
3       3.0           0          1

import torch

X = torch.tensor(inputs.to_numpy(dtype=float))#括号内可以指定类型
y = torch.tensor(outputs.to_numpy(dtype=float))
X, y

转换为张量格式，需要注意的是，to_numpy是Pandas DataFrame 和 Series 对象的方法，用于将其转换为 NumPy 数组。而对于一个张量X将其转换为numpy是用的newX=X.numpy()

练习：

创建包含更多行和列的原始数据集。

1. 删除缺失值最多的列。
2. 将预处理后的数据集转换为张量格式。

提示：

1.代码中,data是一个 Pandas DataFrame 对象。DataFrame 是 Pandas 库中的一种数据结构，用于存储二维数据，类似于电子表格或 SQL 表格。它由行和列组成，可以包含不同数据类型的数据。DataFrame 提供了丰富的方法和功能，用于处理和分析数据。

2.使用isnull()可以判断是否是NAN返回一个bool值的DataFrame

3.使用sum()可以将每列相加，得到一个字典，类型为Series

4.用iloc[ ]可以访问特定行的值

5.访问第一个索引:

index_values = missing_values.index

first_key = index_values[0]

----------------------------------------------------------------答案-----------------------------------------------------------

import os

os.makedirs(os.path.join('..','data'),exist_ok=True)
data_file = os.path.join('..','data','student.csv')
with open(data_file,'w',encoding='utf8') as f:
    f.write('姓名,性别,身高,体重,成绩\n')
    f.write('张三,男,175,75,NA\n')
    f.write('李四,男,170,NA,NA\n')
    f.write('王二,NA,NA,NA,0\n')
    f.write('小美,女,167,45,100\n')
    f.write('小明,男,NA,70,98\n')
    f.write('小刚,NA,180,80,NA\n')
import pandas as pd
data = pd.read_csv(data_file)

missing_values = data.isnull().sum()
missing_values.iloc[0]
print(type(data))

# 读取 CSV 文件
data = pd.read_csv(data_file)

# 计算每列缺失值的数量
missing_values = data.isnull().sum()

# 找到缺失值数量最多的列
max_missing_column = missing_values.idxmax()

# 删除缺失值最多的列
data.drop(columns=[max_missing_column], inplace=True)

print("删除缺失值最多的列后的 DataFrame：")
print(data)