pandas统计论文词频

读入Excel文件,内容如下:

在这里插入图片描述

处理程序如下:

# coding: utf-8
import pandas as pd

def read_txt(src):
    f = open(src, 'r', encoding='utf-8')
    lines = f.readlines()
    split_words = []
    for line in lines:
        word = line.strip()
        if word not in split_words:
            split_words.append(word)
    return split_words

if __name__ == '__main__':
    src = '汇总_更新.xlsx'

    split_words = read_txt('split.txt')
    df = pd.read_excel(src, sheet_name='WWW')
    # print(file)
    # paper_name = file

    df_list = df.values.tolist()
    # print(df_li)
    paper_name = []

    for paper in df_list:
        try:
            paper_name.append(paper[2].split())
        except:
            print(paper[2])
    # print(paper_name)
    word_dict = {}
    word_list = []
    for name in paper_name:
        for word in name:
            if word.lower() in split_words:
                continue
            if word not in word_list:
                word_list.append(word)
                word_dict[word] = 1
            else:
                word_dict[word] += 1
    df_new = pd.DataFrame.from_dict(word_dict, orient='index', columns=['number'])
    # print(word_dict)
    df_new = df_new.sort_values(by='number',ascending=False )

    # print(df_new)
    tgt = pd.ExcelWriter('005.xlsx')
    df_new.to_excel(tgt, sheet_name='WWW')
    tgt.save()

最终结果

在这里插入图片描述英文停用词表来源:
https://blog.csdn.net/shijiebei2009/article/details/39696523/

  • 2
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值