京东手机评论分析（二）：关键词提取

最新推荐文章于 2023-05-16 15:09:03 发布

Ding_xiaofei

最新推荐文章于 2023-05-16 15:09:03 发布

阅读量4.3k

点赞数

分类专栏：文本处理 NLP

本文链接：https://blog.csdn.net/ding_xiaofei/article/details/80462392

版权

本文探讨了在京东手机评论分析中，通过词频、TF-IDF和TextRank三种方法提取关键词的过程。虽然词频结果不尽如人意，但TF-IDF表现更可靠。TextRank使用jieba和snownlp库的结果则不太理想。

摘要由CSDN通过智能技术生成

开篇

这边尝试使用三种方法去提取关键词，我希望能通过一些关键词提取出相应的属性，为了修正我们的评论属性，我还会人为去补充相应的特征词典，关于同义词的一些问题暂且放开不考虑。

词频

直接贴出代码

import json
import jieba
import jieba.analyse
from collections import Counter
import string
from zhon.hanzi import punctuation

stopwords = []
stopword = open('data/chinesestopword.txt','rt')
for line in stopword:
    stopwords.append(line.strip())
with open('data/oppo_r15.json','r') as f:
    data = json.load(f)
review = []
for i in data:
    review.append(i['content'])
score = []
for i in data:
    score.append(i['score'])
text = ''.join(c for c in review)
words = jieba.cut(text)
words_list = []
for i