【Python爬虫】3.豆瓣爬取封了两次的数据

园霸

于 2022-01-04 23:33:47 发布

阅读量584

点赞数

文章标签： python 爬虫开发语言

本文链接：https://blog.csdn.net/m0_46399726/article/details/122314048

版权

Python爬虫学习专栏收录该内容

3 篇文章 0 订阅

订阅专栏

该博客展示了如何利用Python的requests库抓取Douban电影排行榜的数据。通过设置参数并伪装User-Agent来规避反爬策略，获取到JSON格式的响应内容，并将其保存为json文件。内容包括电影类型、评分区间、起始位置和数量等信息。

摘要由CSDN通过智能技术生成

就是那种进去网页之后，网页抓包软件直接看抓不到的数据

url是上图中headers中的url，问号后面的参数需要重新设置，如代码中所示

还是反爬的话需要注意User-Agent

from typing import Dict
import json
import requests
url = "https://movie.douban.com/j/chart/top_list"
#重新封装参数
param = {
    "type": "24",
    "interval_id": "100:90",
    "action": "",
    "start": 0,
    "limit": 20,
}

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36"
}

resp = requests.get(url=url,params=param,headers=headers)

page_text = resp.json()
#print(page_text)

with open('./douban.json', 'w', encoding='utf-8') as f:#写入json文件，没有办法爬取整个的页面格式，因为没有爬取html，css那些东西
    json.dump(page_text,f)
with open("./douban.json",'r') as load_f:
     load_dict = json.load(load_f)
     print(load_dict)