Python 对数据集进行归一化处理并存储为 mat 格式的文件

0. 导论

在做科研工作时，我们不仅从理论角度分析所提 idea 的种种优势，还需要进行大量的实验，得到的实验效果可以进一步地支撑 idea 的优越性，这样更具有说服力。实验所使用的数据集作为实验的重要组成部分，我们往往需要对拿来的数据集进行数据预处理工作，因为通常使用的数据集是来自各行各业的数据，而一个数据集往往具有多个属性，每个属性的值是否使用的是同一量纲得到的，这往往是个问题，如果不是采用同一个量纲进行评价，得到的属性值放在一起进行运算，是否公正合理？

因此，数据归一化处理工作尤为重要，我们要将不同量纲的表达式变为无量纲，也就是将数据集的属性值变为纯量。Python 的 sklearn 包提供了归一化函数，可以方便地对数据集进行处理。
我们以https://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/binary.html 上面的数据集 fourclass 为例，对原始数据进行归一化处理。

1. 下载数据集

打开数据集网址，点击 fourclass 链接，可以看到数据是在网页页面上展示的，没有提供下载形式，这里的下载需要将数据复制下来保存到 txt 文本文件中。


新建文本文件可以命名为 fourclass.txt.

2. 归一化处理

观察我们下载的 fourclass 数据集，可以发现这是一个二维二分类数据集，也就是说只有两个属性，并且它的标签值分为两类。

以第一行数据为例，标签放在第一列，标签值为 +1 和 -1 两种；后两列为属性值,1:167.000000 2:178.000000 表示第一列属性值为 167.000000, 第二列属性值为 178.000000. 我们的目标是将属性值缩放到 (0,1) 之间，标签值放到最后一列。

2.1 读入文本

# 可读模式读入文本内容
f = open(r"C:\Users\Desktop\fourclass.txt", 'r')
# 将文本内容以多行方式一次性读入
lines = f.readlines()
res = []
for i in lines:
	# 根据每行各个列之间的空格，返回一个每行3列的列表
    line = i.split(' ')
    res.append(line)    # res 得到一个由若干行组成的列表

读入之后，可以对列表 res 进行遍历操作，观察 res 存放的数据。

列表 res 的元素类型是列表类型，res 是一个嵌套列表，本质上还是个列表。

2.2 处理文本值

处理文本值就是将标签列值为 " +1" 前面的 “+” 去掉，将属性列值前面的 “1:” 和 “2:” 去掉，将最后一列删掉，处理代码如下：

for i in range(len(res)):
	# 将 "+" 替换掉
    res[i][0] = res[i][0].replace('+','')
    # 对第 i 行，索引为 1 的列，字符串切片，重新赋值给第 i 行第 1 列
    res[i][1] = res[i][1][2:]
    res[i][2] = res[i][2][2:]
# 将 res 转换为 numpy 数组类型，取所有行，不取最后一列，也就是剔除掉最后一列
data = np.array(res)[:,:-1]  

处理完成之后，再将 data 的内容进行打印出来。

通过观察我们可以发现，属性值和标签值都得到了处理。

2.3 使用归一化函数

minMax = MinMaxScaler()  # Normalize data
data = np.hstack((minMax.fit_transform(data[:, 1:]), data[:, 0].reshape(data.shape[0], 1)))

在归一化时，我们需要使用 MinMaxScaler() 函数，这是一个归一化相关的函数。其中，minMax.fit_transform(data[:, 1:]) 是将 data 数组从第二列开始进行归一化处理，属性值缩放到 (0,1) 之间。 data[:, 0].reshape(data.shape[0], 1) 是将标签列单独抽出来，抽出来之后实际为一个一行多列的列表，而我们需要改变它的形状，转换成一列多行。np.hstack() 函数 是将两个数组在水平方向上平铺，目的就是将标签列拼接到属性列后面，放到 data 最后一列。

处理完成之后，可以打印一下 data 的内容。

这就是我们想要的数据，下一就是将数组存放为 mat 格式的文件了。

3. 存储为 mat 文件

其实，存储为 mat 格式的文件只需要一行代码就可以完成：

scipy.io.savemat('fourclass.mat', {'data': data})

但是，在存储之前我们还需先观察一下，data 中数据是否为整型或浮点型，因为字符串类型虽然可以存放到 mat 文件中，但是后续用于运算时必然会出现类型错误这样的异常。例如，我们就取第一列元素观察它的类型，观察数据类型的代码段如下：

for i in data:
    print(type(i[0]))

打印之后，我们发现元素类型都为 numpy.str, 也就是我们通常理解的字符串类型，显然这是不满足要求的。

所以，正确的做法应该是，先将 data 所有元素转换为浮点型，之后才可以进行存储为 mat 格式的文件。

data = data.astype(float)
scipy.io.savemat('fourclass.mat', {'data': data})

在存储时，savemat() 函数第一个参数是我们的文件名，第二个参数是一个字典，前面的 ‘data’ 是键，后面的 data 是我们的 numpy 数组。需要注意的是，这个键名非常重要，这决定你后面用 Python 读取生成的 mat 文件如何取值，建议就用 ’data‘ 键名即可，不要自己去定义其他名字。

4 总结

上面我们将每个子过程单独拆开进行处理，主要是为了方便大家理解。整个过程的代码如下:

import numpy as np
import scipy.io
from sklearn.preprocessing import MinMaxScaler
f = open(r"C:\Users\Desktop\fourclass.txt", 'r')
lines = f.readlines()
res = []
for i in lines:
    line = i.split(' ')
    res.append(line)

for i in range(len(res)):
    res[i][0] = res[i][0].replace('+','')
    res[i][1] = res[i][1][2:]
    res[i][2] = res[i][2][2:]

data = np.array(res)[:,:-1]

minMax = MinMaxScaler()  # Normalize data
data = np.hstack((minMax.fit_transform(data[:, 1:]), data[:, 0].reshape(data.shape[0], 1)))

#for i in data:
#    print(type(i[0]))

data = data.astype(float)
scipy.io.savemat('fourclass.mat', {'data': data})

运行代码，我们可以看到生成一个 fourclass.mat 格式文件。至此，利用 Python 对数据集进行归一化处理，并存储为 mat 格式的文件操作全部结束，以后可以自己去按照类似的过程去处理数据集。
、

最后，这篇博客文章只是一个例子，博客中的数据读取来源是一个 txt 文本文件，当然不局限于一种文件类型，可能大家碰到的是 csv, xls, xlsx 等类型的文件，但是数据处理的过程思路基本都是一致的，以及在数据处理过程中一些需要注意的地方都是相通的，希望大家能够吸收到共性问题的解决思路。 如有问题，欢迎大家留言评论，让我们一起解决一起学习！