【Python】mac反爬虫 豆瓣为例

这篇博客介绍了在mac系统中如何应对Python爬虫遇到的反爬虫机制,通过分析豆瓣TOP250电影排行榜的抓取问题,探讨了添加headers的方法,包括win系统、mac系统以及直接在requests库中设置headers的方式,以解决User-Agent相关的问题。
摘要由CSDN通过智能技术生成

〇、前情提要

在学小甲鱼的爬虫课,遇到反爬虫机制了…
参考:

  1. 【爬虫篇】《极客Python之效率革命》(小甲鱼)
    https://www.bilibili.com/video/av23695737/?p=1
  2. 爬取豆瓣 TOP250 电影排行榜
    https://fishc.com.cn/thread-94979-1-1.html
  3. 豆瓣电影 Top 250
    https://movie.douban.com/top250
  4. [模块档案] Requests 模块帮助文档(小甲鱼版)
    https://fishc.com.cn/thread-95893-1-1.html
  5. [模块档案] BeautifulSoup4 帮助文档(小甲鱼版)【更新中】
    https://fishc.com.cn/thread-97807-1-1.html
  6. 我的笔记-【爬虫篇】《极客Python之效率革命》(小甲鱼) b站笔记
    https://blog.csdn.net/weixin_43210113/article/details/107505405

一、初始源码

在这里插入图片描述

import requests
import bs4

res = requests.get("https://movie.douban.com/top250")
soup = bs4.BeautifulSoup(res.text, "html.parser")
targets 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值