流浪地球影评爬取

大过年的，蹭个热度，看完电影后爬一下影评并作出词云。

流浪地球

本次影评取自豆瓣：https://movie.douban.com/subject/26266893/

豆瓣

抓包

首先是拿到访问的url，一般先使用chrome浏览器自带的F12中的网络部分进行测试。好巧不巧的，点击XHR后直接拿到数据了，那就不搞什么乱七八糟的别的了。

image.png

下面开始分析这个请求的URL地址
https://movie.douban.com/subject/26266893/comments?start=20&limit=20&sort=new_score&status=P&comments_only=1
和搜索《流浪地球》结果的URL进行对比发现域名+subject+26266893都是一样的，所以这一块就是一个影片的唯一标示码了。
点击下一页抓包可以发现 start=40，显然start就是显示的开始条数。然后去除后面的拼接部分大胆的使用以下地址：

1https://movie.douban.com/subject/26266893/comments?start=20&limit=20
2https://movie.douban.com/subject/26266893/comments?start=40&limit=20
3...

所以如果爬取全部的话应该是

1while True:
2    url = f'https://movie.douban.com/subject/26266893/comments?start={20*i}&limit=20'
3    requests.get(url)
4    i += 1

当然这段代码中缺少了一个终止条件，由于没有直观的页码显示，所以按照正常逻辑来说，当拿不到数据的时候，代码就可以结束了。

数据解析

代码调试

从IDE或者抓包工具中都能看到抓去到的东西的内容是个html
使用工具Xpath Helper可以获取到对应的Xpath是
//*[@id="comments"]/div/div[2]/p/span/text()

Xpath Helper

导入 from lxml import etree
使用以下几行就能获取到内容

1from lxml import etree
2
3response = requests.get(url).content  # 获取网页源码
4html = etree.HTML(response)  # 将网页源码转换为XPath可以解析的格式
5html.xpath('//*[@id="comments"]/div/div[2]/p/span/text()')

数据获取

跳出While循环的条件

所以从上可以看出跳出While循环的条件就是拿到的内容为空

访问问题

采用最简单的cookie来进行登录操作

image.png

把这里的cookie拿出来用就行了

获取数据部分代码

 1import time
 2import requests
 3from lxml import etree
 4
 5i = 1
 6cookies = {
 7    'cookie': '_ga=GA1.2.368359059.1504513008; gr_user_id=70cd8d8e-33f4-451f-9d2f-485e0972848b; _vwo_uuid_v2=DA531159C0543E8ED34CDA9307F4F5D42|952eca647e4324910504987dd6b3b16c; viewed="25862578"; douban-fav-remind=1; bid=BbpSXh-2l0I; UM_distinctid=1688ebe76ed917-00fc3d8ad313ab-10306653-13c680-1688ebe76eed09; ll="118172"; CNZZDATA1272964020=1342263888-1524923548-https%253A%252F%252Fwww.baidu.com%252F%7C1549549736; ap_v=0,6.0; __utma=30149280.368359059.1504513008.1548583074.1549551675.6; __utmc=30149280; __utmz=30149280.1549551675.6.5.utmcsr=douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/search; __utmb=30149280.1.10.1549551675; _pk_ref.100001.8cb4=%5B%22%22%2C%22%22%2C1549554516%2C%22https%3A%2F%2Fopen.weixin.qq.com%2Fconnect%2Fqrconnect%3Fappid%3Dwxd9c1c6bbd5d59980%26redirect_uri%3Dhttps%253A%252F%252Fwww.douban.com%252Faccounts%252Fconnect%252Fwechat%252Fcallback%26response_type%3Dcode%26scope%3Dsnsapi_login%26state%3DBbpSXh-2l0I%252523douban-web%252523https%25253A%252F%252Fwww.douban.com%252Fsearch%25253Fq%25253D%2525E6%2525B5%252581%2525E6%2525B5%2525AA%2525E5%25259C%2525B0%2525E7%252590%252583%22%5D; _pk_ses.100001.8cb4=*; douban-profile-remind=1; _pk_id.100001.8cb4=d2d47adf74234a9c.1504513005.8.1549554548.1549551671.; dbcl2="149765164:WENJVMTKslo"'}
 8headers = {
 9    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}
10f = open('wandering.txt', 'w')
11while True:
12    url = f'https://movie.douban.com/subject/26266893/comments?start={20*i}&limit=20'
13    response = requests.get(url, cookies=cookies, headers=headers).content 
14    html = etree.HTML(response)
15    new_text_list = html.xpath('//*[@id="comments"]/div/div[2]/p/span/text()')
16    f.writelines(new_text_list)
17    if not new_text_list:
18        break
19    else:
20        time.sleep(0.25)
21        i += 1
22        print(f'正在爬取第{20*i}条内容')
23f.close()

数据

制作词云

 1#!/usr/bin/env python
 2# -*- coding:utf-8 -*-
 3# Author:zhongxin
 4# datetime:2019/2/7 11:57 PM
 5import re  # 正则表达式库
 6import collections  # 词频统计库
 7import numpy as np  # numpy数据处理库
 8import jieba  # 结巴分词
 9import wordcloud  # 词云展示库
10from PIL import Image  # 图像处理库
11import matplotlib.pyplot as plt  # 图像展示库
12
13with open('wandering.txt') as f:
14    string_data = f.read()
15# 文本预处理
16pattern = re.compile(u'\t|\n|\.|-|:|;|\)|\(|\?|"')  # 定义正则表达式匹配模式
17string_data = re.sub(pattern, '', string_data)  # 将符合模式的字符去除
18
19# 文本分词
20seg_list_exact = jieba.cut(string_data, cut_all=False)  # 精确模式分词
21object_list = []
22remove_words = [u'的', u'，', u'和', u'是', u'随着', u'对于', u'对', u'等', u'能', u'都', u'。', u' ', u'、', u'中', u'在', u'了',
23                u'通常', u'如果', u'我', u'需要',u'也',u'电影','就']  # 自定义去除词库
24
25for word in seg_list_exact:  # 循环读出每个分词
26    if word not in remove_words:  # 如果不在去除词库中
27        object_list.append(word)  # 分词追加到列表
28
29# 词频统计
30word_counts = collections.Counter(object_list)  # 对分词做词频统计
31word_counts_top10 = word_counts.most_common(10)  # 获取前10最高频的词
32print(word_counts_top10)  # 输出检查
33
34# 词频展示
35mask = np.array(Image.open('wordcloud.jpg'))  # 定义词频背景
36wc = wordcloud.WordCloud(
37    font_path='/System/Library/Fonts/STHeiti Medium.ttc',  # 设置字体格式
38    mask=mask,  # 设置背景图
39    max_words=200,  # 最多显示词数
40    max_font_size=100  # 字体最大值
41)
42
43wc.generate_from_frequencies(word_counts)  # 从字典生成词云
44image_colors = wordcloud.ImageColorGenerator(mask)  # 从背景图建立颜色方案
45wc.recolor(color_func=image_colors)  # 将词云颜色设置为背景图方案
46plt.imshow(wc)  # 显示词云
47plt.axis('off')  # 关闭坐标轴
48plt.show()  # 显示图像

词云

数据获取部分代码

数据获取

词云部分代码

词云部分代码1

词云部分代码2

词云部分代码3