爬虫复习(二)

本次实战分享思想:从指定网站中爬取指定参数开始的电影，以json形式持久化存储

1.获取请求链接

使用抓包工具获取ajax刷新链接

2.封装链接中所含参数，后续可灵活修改获取想要的结果

3.UA伪装

headers={
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 SLBrowser/8.0.0.3161 SLBChan/29"
}

4.发起请求
5.持久化存储

完整代码展示

import requests
import json

url="https://movie.douban.com/j/chart/top_list"
param={
    "type":"20",
    "interval_id":"100:90",
    "action":"",
    "start":"0",
    "limit":"20",
}
headers={
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 SLBrowser/8.0.0.3161 SLBChan/29"
}
response=requests.get(url=url,params=param,headers=headers)
datas=response.json()
fp=open("./douban.json","w",encoding="utf-8")
json.dump(datas,fp=fp,ensure_ascii=False)

成果展示

json解析工具解析后