最近有一个需求,就是我有一列数据,这列数据中的每一行表示完成某一项目的所有单位,我想统计这一列数据中,不同单位两两之间的合作次数。数据格式如下:
a;
a;b;c
a;c;
b;d;e
b;f;
g;h;i;j
a;g;h
a;k
d;l;m
a;c;g
上面的每个字母都表示单位名称,不同单位之间用“;”隔开。实现功能的代码如下:
# gen_matrix.py
import pandas as pd
# 将原始数据存在list.txt文件中,并且放在和这一脚本文件相同的目录下
fp_list = open('list.txt',encoding='utf-8')
# 初始化一个字典,用于存放所有矩阵数据,矩阵数据用“二维”字典存放
matrix = {}
# cnt计数用于记录当前处理的行数
cnt = 1
# 用while循环遍历txt文件中的每一行
while True:
namestr = fp_list.readline()
if not namestr:
break
# 去掉每一行的换行符
namestr = namestr.split('\n')[0]
# 根据分隔符“;”将每一行的字段进行拆分,并放到names这个list中
name_wo_sem = namestr.split(';')
names = []
for name in name_wo_sem:
# 只有非空的name才是有意义的,因为有时候如果这一行的末尾也有分隔符,就会有一个空的name
if not name:
pass
else:
names.append(name)
# 更新矩阵的行索引,逐行读取之后,如果matrix中没有这个键值就加一个新的
for name in names:
if name in matrix:
pass
else:
matrix[name] = {}
# 更新矩阵的列索引,并给矩阵赋初值0
namelist = list(matrix.keys())
for name in namelist:
for subname in namelist:
if subname in matrix[name]:
pass
else:
matrix[name][subname] = 0
# 更新矩阵内容,把这一行中存在的合作关系在矩阵中的对应位置加一
for i in range(len(names)-1):
for j in range(i+1, len(names), 1):
matrix[names[i]][names[j]] = matrix[names[i]][names[j]] + 1
# 打印输出当前行数
print('line ' + str(cnt) + ' finished')
cnt = cnt + 1
# 实际上这种合作关系是没有方向的,所以只需要一个上三角矩阵
# 下面就把矩阵中的相同含义的合作关系加在一起
# 比如a和b有合作,b和a也有合作,它们两个值就可以加起来给其中一个,然后把另一个赋0
namelist = list(matrix.keys())
for i in range(len(namelist)-1):
for j in range(i+1, len(namelist), 1):
matrix[namelist[i]][namelist[j]] = matrix[namelist[i]][namelist[j]] + matrix[namelist[j]][namelist[i]]
matrix[namelist[j]][namelist[i]] = 0
# 把嵌套的字典转换成字典list的形式,便于后续转换成DataFrame格式
mlist = []
for i in range(len(namelist)):
mlist.append(matrix[namelist[i]])
# 转换为DataFrame格式,然后写入到excel中
df = pd.DataFrame(mlist, index=namelist)
print(df)
df.to_excel('Matrix.xlsx')
最终结果如下图所示。实际测试时发现,所生成的矩阵大部分情况下是一个稀疏矩阵,但是到后面随着数据量的越来越大,矩阵中遍历所需要的时间也越来越长。算法的效率还有待提高,但是实现基本功能应该没有问题。