爬取影评python_爬虫 | 战狼2 影评爬取及分析

原标题：爬虫 | 战狼2 影评爬取及分析

作者：hang

原文：https://segmentfault.com/a/1190000010473819

刚接触python不久，做一个小项目来练练手。前几天看了《战狼2》，发现它在最新上映的电影里面是排行第一的，如下图所示。准备把豆瓣上对它的影评做一个分析。

目标总览

主要做了三件事：

抓取网页数据

清理数据

用词云进行展示 使用的python版本是3.5.一、抓取网页数据

第一步要对网页进行访问，python中使用的是urllib库。代码如下：

from urllib import request

resp = request.urlopen('https://movie.douban.com/nowplaying/hangzhou/')

html_data = resp.read().decode('utf-8')

其中https://movie.douban.com/nowp...是豆瓣最新上映的电影页面，可以在浏览器中输入该网址进行查看。 html_data是字符串类型的变量，里面存放了网页的html代码。 输入 print(html_data)可以查看，如下图所示：

第二步，需要对得到的html代码进行解析，得到里面提取我们需要的数据。

在python中使用BeautifulSoup库进行html代码的解析。 (注：如果没有安装此库，则使用 pip installBeautifulSoup进行安装即可！) BeautifulSoup使用的格式如下：

BeautifulSoup(html,"html.parser")

第一个参数为需要提取数据的html，第二个参数是指定解析器，然后使用 find_all()读取html标签中的内容。

但是html中有这么多的标签，该读取哪些标签呢？其实，最简单的办法是我们可以打开我们爬取网页的html代码，然后查看我们需要的数据在哪个html标签里面，再进行读取就可以了。如下图所示：

从上图中可以看出在 div id="nowplaying"标签开始是我们想要的数据，里面有电影的名称、评分、主演等信息。所以相应的代码编写如下：

from bs4 import BeautifulSoup as bs

soup = bs(html_data, 'html.parser')

nowplaying_movie = soup.find_all('div', id='nowplaying')

nowplaying_movie_list = nowplaying_movie[0].find_all('li', class_='list-item')

其中 nowplaying_movie_list是一个列表，可以用 print(nowplaying_movie_list[0])查看里面的内容，如下图所示：

在上图中可以看到data-subject属性里面放了电影的id号码，而在img标签的alt属性里面放了电影的名字，因此我们就通过这两个属性来得到电影的id和名称。(注：打开电影短评的网页时需要用到电影的id，所以需要对它进行解析)，编写代码如下：

nowplaying_list = []

for item in nowplaying_movie_list:

nowplaying_dict = {}

nowplaying_dict['id'] = item['data-subject']

for tag_img_item in item.find_all('