python爬虫之requests（4）

最新推荐文章于 2024-07-10 14:09:42 发布

weixin_48737462

最新推荐文章于 2024-07-10 14:09:42 发布

阅读量110

点赞数

分类专栏： python爬虫文章标签： python ajax json

本文链接：https://blog.csdn.net/weixin_48737462/article/details/108568899

版权

python爬虫专栏收录该内容

15 篇文章 0 订阅

订阅专栏

python爬虫之requests（4）

实战：爬取豆瓣电影喜剧排行榜

在页面中，滚轮向下滑动时，地址栏不变，局部刷新出新数据，打开F12开发者工具-Network，往下滑动，出现响应，即采用ajax请求

Request URL:将后面的参数以字典形式封装
发起的是get请求
返回的是json数据
参数封装成字典

在这里插入图片描述

代码：

import requests
import json

url = 'https://movie.douban.com/j/chart/top_list?'
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"
}
param ={
    'type': '24',
    'interval_id': '100:90',
    'action':'',
    'start': '0',
    'limit': '20'
}
response =requests.get(url=url,params=param,headers=headers)
list_data = response.json()
filename = './douban.json'
with open(filename,'w',encoding="utf-8") as fp:
    json.dump(list_data,fp=fp,ensure_ascii=False)
print("over!!!")