python爬取流浪地球_python爬取《流浪地球》十万个短评得出以下结论

作者: 小柒

爬取

逼乎上很多高手,对《流浪地球》在豆瓣的评分做了细思缜密的分析,有兴趣的也去自己搜索,这里主要是爬取《流浪地球》的好、中、差短评并分词分析。

爬取数据:

import os

import requests

import codecs

from bs4 import BeautifulSoup

'''遇到python不懂的问题,可以加Python学习交流群:1004391443一起学习交流,群文件还有零基础入门的学习资料'''

# 给请求指定一个请求头来模拟chrome浏览器

global headers

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36',

'cookie': 'network→www.douban.com→headers查看cookie'}

server = 'https://movie.douban.com/subject/26266893/comments'

# 定义存储位置

global save_path

save_path = os.getcwd()+"\\Text\\"+'短评_好评.txt'

global page_max

page_max = 25

global comments

comments = ''

# 获取短评内容

def get_comments(page):

req = requests.get(url=page)

html = req.content

html_doc = str(html, 'utf-8')

bf = BeautifulSoup(html_doc, 'html.parser')

comment = bf.find_all(class_="short")

for short in comment:

global comments

comments = comments + short.text

# 写入文件

def write_txt(chapter, content, code):

with codecs.open(chapter, 'a', encoding=code)as f:

f.write(content)

# 主方法

def main():

for i in range(0, page_max):

try:

page = server + '?start='+str(i*20)+'&limit=20&sort=new_score&status=P&percent_type=h'

get_comments(page)

write_txt(save_path, comments, 'utf8')

except Exception as e:

print(e)

if __name__ == '__main__':

main()

最终发现,每个类型只能查询出 500 条短评,后面就看不到了,不知道是否豆瓣有意而为之给隐藏了,哈哈哈原来是没登录导致的(headers 设置下 cookie 就可以)。最后读了一下好评文本居然有40MB,不过最终还是按照500条采样。

# 好评500条,中评500条,差评500条,自行更换 percent_type 参数即可。

# https://movie.douban.com/subject/26266893/comments?start=0&limit=20&sort=new_score&status=P&percent_type=h

# https://movie.douban.com/subject/26266893/comments?start=0&limit=20&sort=new_score&status=P&percent_type=m

# https://movie.douban.com/subject/26266893/comments?start=0&limit=20&sort=new_score&status=P&percent_type=l

分析

使用结巴中文分词第三方库来进行高频分析:

import jieba

import os

txt = open(os.getcwd()+"\\Text\\"+"短评_差评.txt", "r", encoding='utf-8').read()

words = jieba.lcut(txt)

counts = {}

for word in words:

if len(word) == 1:

continue

else:

counts[word] = counts.get(word, 0) + 1

items = list(counts.items())

items.sort(key=lambda x: x[1], reverse=True)

for i in range(0, 10):

word, count = items[i]

print("{0:<6}{1:>6}".format(word, count))

前十好评高频出现词汇:

前十中评高频出现词汇:

前十差评高频出现词汇:

前十高频词汇分析基本没有任何参考价值,基本就是科幻、地球、特效、电影,这些都是电影的基本元素,其它的都是一些中性词汇。

然后,我们分析了11-30的高频词汇,提取了部分关键词:

好评:

结论:国产希望好莱坞科幻煽情大片。大家注意一下,前三十高频词汇只出现了刘慈欣的名字,并没有出现吴京的名字。

中评:

结论:总体来说还算中肯,不知道为啥会出现三星?原谅我没有读过原著,原来是《三体》中"三恒星"系统。

差评:

结论:既然是一星差评,肯定是一黑到底,剧情尴尬、台词尴尬、剪辑尴尬、吴京尴尬,相比于好评中高频出现的原著作者刘慈欣,应该有大部分吴京黑粉。

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值