确定目标网址:豆瓣电影排行榜
使用Google浏览器打开目标网址,右侧选择分类“传记”,按F12打开开发者工具,会打开如下界面:左侧是数据内容,右侧是网页源代码信息。注:由于该页面是动态的,我们需要将右侧页面内容滚动到最后,然后单击"Name"中的最后一个数据包。
接着,按如下顺序依次操作,其中“Request URL”是我们后面需要的请求页面地址。
完成基本的网页分析和相关参数后,下面我们进入正题:
第一步:导入requests包和json,代码如下:
import requests
import json # 用于处理json格式数据的模块
url = 'https://movie.douban.com/j/chart/top_list'