近期上映的电影——《天气之子》广受好评,我就使用一个中文的情感分析库——snownlp进行了对它的评论的分析,来看他是否正如我听到的那样好。总体的结构分为以下几点
:
1.对豆瓣的天气之子的评论进行爬取。
2.使用snownlp对评论进行逐个情感分析评分。
3.取平均值进行输出。
首先介绍一个snownlp这个库
SnowNLP是一个python写的类库,可以方便的处理中文文本内容,是受到了TextBlob的启发而写的,由于现在大部分的自然语言处理库基本都是针对英文的,于是写了一个方便处理中文的类库,并且和TextBlob不同的是,这里没有用NLTK,所有的算法都是自己实现的,并且自带了一些训练好的字典。注意本程序都是处理的unicode编码,所以使用时请自行decode成unicode。
详细使用参考
https://blog.csdn.net/google19890102/article/details/80091502
1.对豆瓣的天气之子的评论进行爬取。
import requests
from lxml import etree
for i in range(0,10):
#构造每页评论的url,一页时20个
url='https://movie.douban.com/subject/30402296/comments?start={}&limit=20&sort=new_score&status=P'.format(i*20)
r=requests .get(url)
html=etree.HTML(r.text )
#对评论进行提取
pinglun=html.xpath('//*[@id="comments"]/div/div[2]/p/span/text()')
#保存至文档
for i in pinglun:
with open('评论.txt','a',encoding='utf-8')as fp:
fp.write(i+'\n')
2.使用snownlp对评论进行逐个情感分析评分。
from snownlp import SnowNLP
#代开文件
fp=open(r"C:\Users\spider-man\PycharmProjects\untitled2\情感分析\评论.txt","r",encoding='utf-8')
lines=fp.readlines()
k=0
m=0
#逐行读入
for line in lines:
try:
s=SnowNLP(line)
#进行对没条评论情感分析打分累加
k=k+s.sentiments
#对评论总数进行累加
m=m+1
except:
print("")
print(round(k/m,3))
3.取平均值进行输出。