背景
在一项目中有这么一个场景:将txt文本中的内容读取成矩阵,但是txt文本中用空格分隔开的不只是数字还有中文字符,之后有一些切割矩阵的动作。
讨论
一般来讲,我们都会用np.loadtxt进行读取信息,在用其中converters参数所调用的方法进行处理中文字符,但是我这里的原始数据中文字符的编码格式很混乱,无法简单的使用np.loadtxt中所拥有的各种参数进行处理,那么我就准备自己写一个从头构建矩阵的方法。
第一版
注:代码省略中文字符处理部分
def file2array(path, delimiter=' '): # delimiter是数据分隔符
fp = open(path, 'r', encoding='GBK')
string = fp.read() # string是一行字符串,该字符串包含文件所有内容
fp.close()
row_list = string.splitlines() # splitlines默认参数是‘\n’
data_list = [[i for i in row.strip().split(delimiter)] for row in row_list]
for i in range(0, len(data_list) - 1):
data_list[i][-1] = keyboardEvent_label(data_list[i][-1])
data_list[i].append(data_list[i][-2] * 100 + data_list[i][-1])
return data_list
下图所示为上文代码生成的data数据
其实到这里都没有什么问题,然后我就准备开开心心的去做“矩阵”分割(分离标签)工作去了。这是我准备分割时所调用的函数。
毫无意外,报错了。报的:
元组越界!这就很奇怪了,我唯一用到元组的地方就是这个indices_or_sections的参数,但总共有48513列,我按照(48510,48512)分割应该不会出现问题才对的啊。。此时的我感觉一直是边界处理出了问题,我查阅了巨多的博客之后发现依然解决不了。此时我就突然想到是不是我自己构造的“矩阵”出了问题呢?
第二版
我又自己写了一些数据用np.loadtxt进行载入,下图是构造的格式。
一眼望去感觉差不多,但我又仔细看了看,有点不对劲。
!!!
有没有发现什么不同,左图为自己构建的矩阵,右图为np.loadtxt构造的
- 红色部分左图标明了有多少行,但没有写明有多少列,但右图全部都写明了。
- 绿色圈起来都是二维数据中第一行元素,左图注明了它是一个array还有是什么编码格式,而右图什么都没有写明(只写了数据)。
这时我突然意识到我这么自己写的内部还是和loadtxt创建的不一样。经过不断的修改和尝试,为保证矩阵内部格式匹配,使用了列表拼接的办法(np.concatenate()、np.vstack())
注:np.vstack()并不好用,限制条件过多,能使用的np.concatenate()的话还是用这个最好。
代码如下:
def file2array(path, delimiter=' '): # delimiter是数据分隔符
fp = open(path, 'r', encoding='GBK')
string = fp.read() # string是一行字符串,该字符串包含文件所有内容
fp.close()
row_list = string.splitlines() # splitlines默认参数是‘\n’
data_list = [[i for i in row.strip().split(delimiter)] for row in row_list]
sum = np.array([])
for i in range(0, len(data_list) - 1):
data_list[i][-2] = people_label(data_list[i][-2])
for i in range(0, len(data_list) - 1):
data_list[i][-1] = keyboardEvent_label(data_list[i][-1])
data_list[i].append(data_list[i][-2] * 100 + data_list[i][-1])
for i in range(0, len(data_list) - 1):
data_list[i] = np.array(data_list[i])
if i == 0:
sum = data_list[i]
elif i==1:
sum = np.concatenate(([sum], [data_list[i]]))
else:
sum = np.concatenate((sum, [data_list[i]]))
解释:与原来代码相比,需要将每个二维数组的元素都要刻意的用np.array进行转化,在使用拼接的方法。
但又要注意的是:对于np.concatenate()来说,若是两个普通的列表拼接,会直接横向拼接,要先把它变成二维的再进行拼接,才能纵向拼接,在代码中体现为当i==1时sum和data_list[i]都加上了[],但在之后sum已经为二维矩阵,就不用再加了,只用data_list[i]加即可。
如此,我们自己构造的矩阵和np.loadtxt完全一致,如下图:
这样也可以进行分割了。