python|解决自己构造的二维数组无法通过np.split分割的问题

背景

在一项目中有这么一个场景：将txt文本中的内容读取成矩阵，但是txt文本中用空格分隔开的不只是数字还有中文字符，之后有一些切割矩阵的动作。

讨论

一般来讲，我们都会用np.loadtxt进行读取信息，在用其中converters参数所调用的方法进行处理中文字符，但是我这里的原始数据中文字符的编码格式很混乱，无法简单的使用np.loadtxt中所拥有的各种参数进行处理，那么我就准备自己写一个从头构建矩阵的方法。

第一版

注：代码省略中文字符处理部分

def file2array(path, delimiter=' '):  # delimiter是数据分隔符
    fp = open(path, 'r', encoding='GBK')
    string = fp.read()  # string是一行字符串，该字符串包含文件所有内容
    fp.close()
    row_list = string.splitlines()  # splitlines默认参数是‘\n’
    data_list = [[i for i in row.strip().split(delimiter)] for row in row_list]
    for i in range(0, len(data_list) - 1):
        data_list[i][-1] = keyboardEvent_label(data_list[i][-1])
        data_list[i].append(data_list[i][-2] * 100 + data_list[i][-1])
    return data_list

下图所示为上文代码生成的data数据

其实到这里都没有什么问题，然后我就准备开开心心的去做“矩阵”分割（分离标签）工作去了。这是我准备分割时所调用的函数。

毫无意外，报错了。报的：

元组越界！这就很奇怪了，我唯一用到元组的地方就是这个indices_or_sections的参数，但总共有48513列，我按照（48510,48512）分割应该不会出现问题才对的啊。。此时的我感觉一直是边界处理出了问题，我查阅了巨多的博客之后发现依然解决不了。此时我就突然想到是不是我自己构造的“矩阵”出了问题呢？

第二版

我又自己写了一些数据用np.loadtxt进行载入，下图是构造的格式。

一眼望去感觉差不多，但我又仔细看了看，有点不对劲。
！！！

有没有发现什么不同，左图为自己构建的矩阵，右图为np.loadtxt构造的

1. 红色部分左图标明了有多少行，但没有写明有多少列，但右图全部都写明了。
2. 绿色圈起来都是二维数据中第一行元素，左图注明了它是一个array还有是什么编码格式，而右图什么都没有写明（只写了数据）。

这时我突然意识到我这么自己写的内部还是和loadtxt创建的不一样。经过不断的修改和尝试，为保证矩阵内部格式匹配，使用了列表拼接的办法（np.concatenate()、np.vstack()）

注：np.vstack()并不好用，限制条件过多，能使用的np.concatenate()的话还是用这个最好。

代码如下：

def file2array(path, delimiter=' '):  # delimiter是数据分隔符
    fp = open(path, 'r', encoding='GBK')
    string = fp.read()  # string是一行字符串，该字符串包含文件所有内容
    fp.close()
    row_list = string.splitlines()  # splitlines默认参数是‘\n’
    data_list = [[i for i in row.strip().split(delimiter)] for row in row_list]
    sum = np.array([])
    for i in range(0, len(data_list) - 1):
        data_list[i][-2] = people_label(data_list[i][-2])
    for i in range(0, len(data_list) - 1):
        data_list[i][-1] = keyboardEvent_label(data_list[i][-1])
        data_list[i].append(data_list[i][-2] * 100 + data_list[i][-1])
    for i in range(0, len(data_list) - 1):
        data_list[i] = np.array(data_list[i])
        if i == 0:
            sum = data_list[i]
        elif i==1:
            sum = np.concatenate(([sum], [data_list[i]]))
        else:
            sum = np.concatenate((sum, [data_list[i]]))

解释：与原来代码相比，需要将每个二维数组的元素都要刻意的用np.array进行转化，在使用拼接的方法。
但又要注意的是：对于np.concatenate()来说，若是两个普通的列表拼接，会直接横向拼接，要先把它变成二维的再进行拼接，才能纵向拼接，在代码中体现为当i==1时sum和data_list[i]都加上了[]，但在之后sum已经为二维矩阵，就不用再加了，只用data_list[i]加即可。

如此，我们自己构造的矩阵和np.loadtxt完全一致，如下图：

这样也可以进行分割了。