Python 爬虫实战（1）：分析豆瓣中最新电影的影评

最新推荐文章于 2024-03-16 10:00:00 发布

weixin_33711647

最新推荐文章于 2024-03-16 10:00:00 发布

阅读量1.3k

点赞数 1

文章标签：爬虫 python

原文链接：http://www.cnblogs.com/Black-rainbow/p/9192953.html

版权

主要做了三件事：

第一步要对网页进行访问，python中使用的是urllib库。代码如下：

from urllib import request

resp = request.urlopen('https://movie.douban.com/nowplaying/hangzhou/')
html_data = resp.read().decode('utf-8')

其中https://movie.douban.com/nowplaying/hangzhou/是豆瓣最新上映的电影页面，可以在浏览器中输入该网址进行查看。

html_data是字符串类型的变量，里面存放了网页的html代码。

输入print(html_data)可以查看，如下图所示：

第二步，需要对得到的html代码进行解析，得到里面提取我们需要的数据。

在python中使用BeautifulSoup4库进行html代码的解析（如果没有安装此库，请先自行安装）。

BeautifulSoup使用的格式如下：

BeautifulSoup(html,"html.parser")

第一个参数为需要提取数据的html，第二个参数是指定解析器，然后使用find_all()读取html标签中的内容。

但是html中有这么多的标签，该读取哪些标签呢？其实，最简单的办法是我们可以打开我们爬取网页的html代码，然后查看我们需要的数据在哪个html标签里面，再进行读取就可以了。如下图所示：

从上图中可以看出在div id=“nowplaying”标签开始是我们想要的数据，里面有电影的名称、评分、主演等信息。所以相应的代码编写如下：

soup = bs(html_data, 'html.parser')
nowplaying_movie = soup.find_all('div', id='nowplayi

关注