from urllib.request import Request,urlopen
from fake_useragent import UserAgent
#导入相应的库
base_url ='https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start={}&limit=20'
#构造电影地址url,发现该网站url构造结构
i=0
while True:
#加入while语句循环构造url
headers ={
'User-Agent':UserAgent().chrome
#加入请求头
}
url =base_url.format(i*20)
#构造url
request =Request(url,headers=headers)
#访问构造好的url
response =urlopen(request)
#返回响应值
info =response.read().decode()
#定义函数info,获取响应信息
print(info)
#打印内容
if info =="" or info is None:
#用if语句加入判断,打印内容为空时
break
#程序结束
i+=1
#url中i加1
爬虫案例:ajax异步加载,爬取豆瓣电影排行榜
最新推荐文章于 2021-07-29 22:16:31 发布