Python爬虫爬取某网页电影排行实例

今天继续给大家介绍Python 爬虫相关知识，本文主要内容是Python爬虫爬取某网页电影排行实例。

一、目标站点分析

目标站点页面如下所示：

打开该页面后，简单查看可以发现，随着该页面不断下翻，电影相关数据不断出现，因此，我们可以猜测这个站点使用了Ajax请求。我们可以使用浏览器自带的工具来查看网页的数据包情况，如下所示：

从上图中可以看出，Ajax的数据包以GET的形式发出，其URL为：

https://movie.douban.com/j/chart/top_list?type=22&interval_id=100%3A90&action=&start=0&limit=20

可以简单分析结合实验得知，这里参数表示从start指定的参数开始，返回limit参数指定的电影信息。该数据包返回结果是一个json格式的数据，这个数据是一个列表，列表的每个元素是一个字典，在字典中包含了所有的电影信息。

二、实例代码编写

接下来，我们就可以编写代码了。编写好的代码如下所示：

import requests

url="https://movie.douban.com/j/chart/top_list"
get_param={
	"type":"22","interval_id":"100:90","action":"","start":"0","limit":"10"
}
UA={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"}
response=requests.get(url=url,params=get_param,headers=UA)
out_put=response.json()
for out in out_put:
    print(out["title"])

在上述代码中，大部分代码与简单Python爬虫编写——requests包使用初体验文章中的代码相同。唯一特别的一点是使用了reponse.json()函数，该函数可以返回响应数据包中的json格式的数据。在代码最后，打印了所有电影的title。
上述代码执行结果如下所示：

原创不易，转载请说明出处：https://blog.csdn.net/weixin_40228200