DataWhale之数据分析练习2:论文作者统计

任务说明

任务主题：论文作者统计，统计所有论文作者出现评率Top10的姓名；
任务内容：论文作者的统计、使用 Pandas 读取数据并使用字符串操作；
任务成果：学习 Pandas 的字符串操作；

读取原始数据处理

data = []
with open("arxiv-metadata-oai-snapshot.json", 'r') as f:
    for index, line in enumerate(f):
    # 通过迭代器的方式读取大文件，可以通过判断索引index的大小控制读取的数据
        d = json.loads(line)
        # 通过json.loads 把json字符串转换成字典对象
        d = {'authors': d.get('authors',""), 'categories': d.get('categories',""), 'authors_parsed': d.get('authors_parsed',"")}
        # 通过使用字段的get获取数据，避免数据有问题而导致报错
        data.append(d)
# 把列表数据转换成DataFrame格式数据，方便后续使用
data = pd.DataFrame(data)

处理作者数据

# 筛选出categories中包含cs.CV的数据
data2 = data[data['categories'].apply(lambda x: 'cs.CV' in x)]
# 取出筛选数据后的所有作者
all_authors = sum(data2['authors_parsed'], [])
print(all_authors)
#[['Likforman-Sulem', 'Laurence', ''], ['Zahour', 'Abderrazak', ''], ['Taconet', 'Bruno', ''], ['Nelwamondo', 'Fulufhelo Vincent', ''], ['Marwala', 'Tshilidzi', ''], ['Berglund', 'Erik', ''], ['Sitte', 'Joaquin', ''], ['Zerai', 'Mourad', ''], ['Moakher', 'Maher', ''], ['Marteau', 'Pierre-François', '', 'VALORIA'], ['Ménier', 'Gilbas', '', 'VALORIA'], ['Spiller', 'Jonathan M.', ''], ['Marwala', 'T.', ''], ['Falk', 'D. L.', ''], ['Rubin', 'D. M.', ''], ['Marwala', 'T.', ''], ['Surajpal', 'Dhiresh R.', ''], ['Marwala', 'Tshilidzi', ''], ['Machowski', 'Lukasz A', ''], ['Marwala', 'Tshilidzi', ''], ['Graves', 'Alex', ''], ['Fernandez', 'Santiago', ''], ['Schmidhuber', 'Juergen', ''], ['Cohen', 'Asaf', ''], ['Weissman', 'Tsachy', ''], ['Merhav', 'Neri', ''], ['Jacquet', 'W.', ''], ['de Groen', 'P.', ''], ['Sofge', 'Donald A.', ''], ['Beezley', 'Jonathan D.', ''], ['Mandel', 'Jan', ''], ['Lichtenwalner', 'Peter F.', ''], ['Sofge', 'Donald A.', ''], ['Scurrell', 'Simon', ''], ['Marwala', 'Tshilidzi', ''], ['Rubin', 'David', ''], ['Sofge', 'D. A.', '']]
# # 拼接所有的作者
authors_names = [' '.join(x) for x in all_authors]
authors_names = pd.DataFrame(authors_names)

绘制作者频率直方图

plt.figure(figsize=(10, 6))
authors_names[0].value_counts().head(10).plot(kind='barh')
#修改图配置
names = authors_names[0].value_counts().index.values[:10]
_ = plt.yticks(range(0, len(names)), names)
plt.ylabel('Author')
plt.xlabel('Count')
plt.show()

绘制作者字段第一个出现的单词频率直方图

authors_lastnames = [x[0] for x in all_authors]
authors_lastnames = pd.DataFrame(authors_lastnames)
plt.figure(figsize=(10, 6))
authors_lastnames[0].value_counts().head(10).plot(kind='barh')
names = authors_lastnames[0].value_counts().index.values[:10]
_ = plt.yticks(range(0, len(names)), names)
plt.ylabel('Author')
plt.xlabel('Count')
plt.show()