【Python练习一】python对论文DOI对应索引进行处理整合

在这里感谢我的本科朋友，这个小练手绝大部分代码是他帮我写的QAQ，核心功能他实现的，我只是划水罢了，贴上来主要是为了记录一下，以后肯定少不了数据处理的相关任务，人麻了，希望大家都顺顺利利吧。

一、任务描述

给你一个csv文件，文件是由论文DOI和这个论文所引用的论文的名字以及DOI所构成，我们现在要做的就是把csv文件中的DOI以及他后面的DOI提取出来，将一对多整合成一对一，这样就相当于一个节点对一个节点，这样后期我们在做论文引用网络分析的时候绘图就能很好的将各个节点表示出来，具体文件信息如下所示：

二、处理思路

• 首先观察数据的格式，后面引用的DOI是跟在 DOI和；之间，那我们用正则就能够提取得到引用文章的DOI；
• 然后思考，怎么实现一对一，那么就要遍历后面提取得到的DOI，然后与前面的DOI一一对应，这就很麻烦，这就需要考虑python的一些支持函数技巧QAQ

三、运用python来进行处理

1.模块的导入

import numpy as np
import pandas as pd
import re

数据处理支持模块

2.初始数据的导入

file_path = r"data.csv"
data = pd.read_csv(file_path, encoding='latin1')

3.引用提取

num = 0
columnA = data['DOI'].values
columnB = data['PaperReferences'].values
columnC = []
for row in columnB:
    doichar = re.findall(r'DOI(.*?);',columnB[num])
    columnC.append(doichar)
    num = num + 1

dataA = pd.DataFrame(columnA)
dataC = pd.DataFrame(columnC)

4.最后分类

DataFrame，pandas数据格式

itertuples()： 将DataFrame迭代成元组

data_all = pd.DataFrame({
    'DOI': columnA,
    'PaperReferences':columnC
})
column_all_list = []
for one_row in data_all.itertuples():
    for single_refer_doi in one_row[2]:
        column_all_list.append([one_row[1], single_refer_doi])

column_all_nparray = np.array(column_all_list)
data_final = pd.DataFrame({
    'DOI': column_all_nparray[:, 0],
    'PaperReferences': column_all_nparray[:, 1]
})
data_final.to_csv("data_all.csv", index=0)

记录：2021.09.23