Python 爬虫：requests 和 selenium 伪装 headers 和代理应对反爬机制_requests 代理

最新推荐文章于 2024-08-05 17:56:51 发布
最新推荐文章于 2024-08-05 17:56:51 发布
阅读量279 收藏 10
点赞数 3
分类专栏： 程序员 文章标签： python 学习 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84140569/article/details/138722370
版权

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

img
img

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！img

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

img

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

img

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。img

六、面试宝典

在这里插入图片描述

在这里插入图片描述

简历模板在这里插入图片描述

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

使用 webdriver 访问本身自带浏览器的 headers。

from selenium import webdriver

url = 'https://httpbin.org/headers'

driver_path = '/path/to/chromedriver'
browser = webdriver.Chrome(executable_path=driver_path)
browser.get(url)

print(browser.page_source)
browser.close()

打印出返回的网页代码：

<html xmlns="http://www.w3.org/1999/xhtml"><head></head><body><pre style="word-wrap: break-word; white-space: pre-wrap;">{
  "headers": {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8", 
    "Accept-Encoding": "gzip, deflate, br", 
    "Accept-Language": "zh-CN,zh;q=0.9", 
    "Host": "httpbin.org", 
    "Upgrade-Insecure-Requests": "1", 
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"
  }
}
</pre></body></html>

浏览器 driver 也能伪装 User-Agent，只需在创建 webdriver 浏览器对象的时候传入设置即可：

from selenium import webdriver

url = 'https://httpbin.org/headers'

user_agent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.0.3 Safari/605.1.15"

driver_path = '/path/to/chromedriver'

opt = webdriver.ChromeOptions()
opt.add_argument('--user-agent=%s' % user_agent)

browser = webdriver.Chrome(executable_path=driver_path, options=opt)
browser.get(url)

print(browser.page_source)
browser.close()

此时返回的 User-Agent 就变成传入的设置了。

<html xmlns="http://www.w3.org/1999/xhtml"><head></head><body><pre style="word-wrap: break-word; white-space: pre-wrap;">{
  "headers": {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8", 
    "Accept-Encoding": "gzip, deflate, br", 
    "Accept-Language": "zh-CN,zh;q=0.9", 
    "Host": "httpbin.org", 
    "Upgrade-Insecure-Requests": "1", 
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.0.3 Safari/605.1.15"
  }
}
</pre></body></html>

Firefox 浏览器 driver 的设置有所不同：

from selenium import webdriver

url = 'https://httpbin.org/headers'

user_agent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.0.3 Safari/605.1.15"

driver_path = '/path/to/geckodriver'

profile = webdriver.FirefoxProfile()
profile.set_preference("general.useragent.override", user_agent)

browser = webdriver.Firefox(executable_path=driver_path, firefox_profile=profile)
browser.get(url)

print(browser.page_source)
browser.close()

3、requests 使用 ip 代理发送请求

当一个 ip 短时间访问太过频繁时，网站的反爬机制会被触发，将会要求输入验证码甚至封锁 ip 禁止访问。此时需要使用代理 ip 发起请求才可获取正确的网页。

访问 https://httpbin.org/ip 网址可以查看自己的 ip。

import requests

url = 'https://httpbin.org/ip'
response = requests.get(url)
print(response.text)

返回本机网络的ip：

{
  "origin": "202.121.167.254, 202.121.167.254"
}

使用代理 IP 与1中伪装 headers 的方式相似，比如现在得到一个代理ip：58.58.213.55:8888，使用如下：

import requests

proxy = {
    'http': 'http://58.58.213.55:8888',
    'https': 'http://58.58.213.55:8888'
}
response = requests.get('https://httpbin.org/ip', proxies=proxy)
print(response.text)

返回的就是代理 ip

{
  "origin": "58.58.213.55, 58.58.213.55"
}

4、selenium webdriver 使用代理 ip

chrome driver 使用代理 ip 的方式与伪装 user-agent 相似：

from selenium import webdriver

url = 'https://httpbin.org/ip'
proxy = '58.58.213.55:8888'
driver_path = '/path/to/chromedriver'
opt = webdriver.ChromeOptions()
opt.add_argument('--proxy-server=' + proxy)

browser = webdriver.Chrome(executable_path=driver_path, options=opt)
browser.get(url)
print(browser.page_source)
browser.close()

打印结果：

<html xmlns="http://www.w3.org/1999/xhtml"><head></head><body><pre style="word-wrap: break-word; white-space: pre-wrap;">{
  "origin": "58.58.213.55, 58.58.213.55"
}
</pre></body></html>

firefox driver 的设置略有不同，并且需要下载浏览器扩展 close_proxy_authentication 取消代理用户认证。可通过谷歌下载，本文使用 firefox 65.0.1 (64 位) 版本，可用的扩展文件是: [close_proxy_authentication-1.1-sm+tb+fx.xpi]。

代码如下：

from selenium import webdriver

url = 'https://httpbin.org/ip'
proxy_ip = '58.58.213.55'
proxy_port = 8888
xpi = '/path/to/close_proxy_authentication-1.1-sm+tb+fx.xpi'
driver_path = '/path/to/geckodriver'

profile = webdriver.FirefoxProfile()
profile.set_preference('network.proxy.type', 1)
profile.set_preference('network.proxy.http', proxy_ip)  # http 代理
profile.set_preference('network.proxy.http_port', proxy_port)
profile.set_preference('network.proxy.ssl', proxy_ip)  # https 代理
profile.set_preference('network.proxy.ssl_port', proxy_port)
profile.set_preference('network.proxy.no_proxies_on', 'localhost, 127.0.0.1')
profile.add_extension(xpi)  # 添加扩展

browser = webdriver.Firefox(executable_path=driver_path, firefox_profile=profile)
browser.get(url)
print(browser.page_source)
browser.close()

打印的同样是代理 ip。

<html platform="mac" class="theme-light" dir="ltr"><head><meta http-equiv="Content-Security-Policy" content="default-src 'none' ; script-src resource:; "><link rel="stylesheet" type="text/css" href="resource://devtools-client-jsonview/css/main.css"></head><body><div id="content"><div id="json">{
  "origin": "58.58.213.55, 58.58.213.55"
}
</div></div><script src="resource://devtools-client-jsonview/lib/require.js" data-main="resource://devtools-client-jsonview/viewer

最后：关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】。

👉[[CSDN大礼包：《python安装包&全套学习资料》免费分享]]（安全链接，放心点击）

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84140569
关注
  • 3
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
十个好用到爆炸的Python技巧
qq_36807888的博客
07-30 778
生成器表达式与列表推导式类似，但它创建的是一个迭代器，而不是一个完整的列表。zip(names, ages) 创建一个迭代器，该迭代器生成由 names 和 ages 列表中对应位置的元素组成的元组。defaultdict(int) 创建一个字典，如果访问的键不存在，则默认值为 0 (int 类型的默认值)。惰性求值: 元素是在需要时才计算的，而不是预先计算好存储在内存中，这在处理包含复杂计算的序列时非常有用。wrapper 函数是装饰器函数内部定义的函数，它调用被装饰的函数，并将结果转换为大写。
python字符串数据容器练习（replace,split,count）
2301_79600015的博客
07-31 717
Python字符串是由一系列字符组成的数据类型。在Python中，字符串是不可变的，这意味着一旦创建了一个字符串，就不能修改它的内容。以下是关于Python字符串的一些重要知识点：1. 字符串的基本操作：拼接字符串：使用`+`运算符。重复字符串：使用`*`运算符。索引和切片：使用`[]`和`:`操作符访问字符串中的子串。长度：使用`len()`函数获取字符串长度。转换大小写：使用`upper()`和`lower()`方法。分割和连接：使用`split()`和`join()`方法。
Python面试题：如何使用WebSocket实现实时Web应用
bigorsmallorlarge的专栏
07-30 652
通过上述步骤，你可以使用 Django Channels 和 WebSocket 创建一个简单的实时 Web 应用。Django Channels 提供了强大的功能，使得在 Django 中实现实时功能变得更加容易。你可以在此基础上扩展，添加更多功能和复杂的逻辑。
【BUG】Gunicorn [CRITICAL] WORKER TIMEOUT (pid:41518)
集电极
07-31 293
在使用Gunicorn 启动一个Flask服务后，访问接口响应错误，查看日志发现了该错误。具体上，我的接口大约需要2分钟才将结果返回，因此我的超时时间应该设置为200秒比较合适。秒内没有返回结果，Gunicorn 会弹出超时错误，并且会杀死flask服务重启。：接口返回时间超时。默认情况下，Gunicorn 超时时间为。样例，设置超时时间为200秒。解决方法是在启动命令中。
在 Python 和 C++ 环境下安装和使用 ONNX Runtime
CDBmax的博客
08-03 284
对于 GPU 版本的 ONNX Runtime，需要安装 CUDA 和 cuDNN。请检查 CUDA 执行提供程序的要求以获取兼容版本的 CUDA 和 cuDNN。通过上述步骤和示例代码，您可以在 Python 和 C++ 环境下安装并使用 ONNX Runtime 进行模型推理。《windows端可以用 vs编辑器配置相应的头文件、库文件》《这部分可以去B站有很多教学视频讲的更详细》
Java 设计模式之桥接模式（Bridge Pattern）
微笑听雨
08-05 720
桥接模式（Bridge Pattern）是一种用于将抽象部分与其实现部分分离的结构型设计模式。这种模式通过组合关系而不是继承关系来连接抽象与实现，使代码更具扩展性和维护性。桥接模式的核心思想是将抽象和实现解耦，使得两者可以独立变化。桥接模式（Bridge Pattern）是一种结构型设计模式，旨在将抽象部分与其实现部分分离，从而使两者可以独立地变化。桥接模式通过组合关系代替继承关系，将抽象和实现解耦，使代码更具扩展性和维护性。
PAI-DSW中对齐NoteBook和命令行的Python环境
MilkLeong的博客
08-02 717
我认为在最开始NoteBook和命令行的Python环境是一致的，只是我前面在部署LLaMA-Factory时进行了如下操作将命令行的Python环境改成了/root/anaconda3/bin/python。具体详见。
python游戏开发之五子棋游戏制作
m0_65482549的博客
08-05 930
它通过简洁明了的语法和逻辑结构，提高了代码的可读性和可维护性。通过引入交互性更强的用户输入方式，使得玩家可以更直观地参与游戏，增强了游戏的可玩性和用户体验。总的来说，这段 Python 在保持游戏逻辑不变的情况下，提升了代码的质量和可玩性，为开发者和玩家带来了更好的体验。如有侵权，请联系删除。
python 的pip包管理工具 requirements.txt 怎么用
yuguang的博客
07-31 496
如果你想要安装最新版本的包，你可以省略版本号，但这样做可能会使你的项目在不同环境中表现出不一致的行为，因为包的最新版本可能会引入不兼容的更改。在Python中，尤其是与pip和包管理相关的上下文中，requirements.txt文件用于列出项目所依赖的外部Python包及其版本。这里，-r选项告诉pip从一个文件中读取要安装的包列表，而requirements.txt就是包含这些包信息的文件名。执行这个命令后，pip会读取requirements.txt文件中的每一行，并尝试安装或更新到指定的包版本。
python中的三元表达式
cyj0919的博客
08-01 272
三元表达式是一种简洁的方式来根据某个条件选择两个值中的一个。它由三个部分组成：条件判断、冒号(:)、然后是两个可能的结果。
python---为某个项目使用虚拟环境
weixin_45880844的博客
08-01 702
通过在虚拟环境中开发，你可以确保你的代码在不同环境中（包括生产环境）的表现一致，因为依赖是被隔离和明确定义的。：如果你正在开发自己的Python包，并且希望在项目中使用它，你可以轻松地将包链接到虚拟环境中进行测试。：虚拟环境允许你为特定项目使用不同版本的Python解释器，即使全局环境中使用的是另一版本。：不同项目可能需要不同版本的库。：虚拟环境可以包含安全补丁或特定版本的库，而不影响全局环境中的库，这有助于减少安全风险。：在虚拟环境中，你可以安全地尝试新的包或工具，而不会影响到你主要的工作环境。
pycharm无法导入pyside2模块；“ModuleNotFoundError: No module named ‘PySide2“
yrx020307的博客
08-01 265
出现报错““ModuleNotFoundError: No module named ‘PySide2’””后，看来很多博客，都不能解决，只有这篇博客提供了思路；2）.ui转化为.py后，点击运行，报错““ModuleNotFoundError: No module named ‘PySide2’””https://blog.csdn.net/weixin_61891798/article/details/127097989。按照博客的指引，和命令行的提示，我找到了pyside2的包；
Django文件上传
brucexia的专栏
08-02 1110
Django框架在处理文件上传时，文件最终会位于“:attr:request.FILES<django.http. HttpRequest.FILES>”。处理上面表单的视图将在request.FILES中接收到文件数据，可以使用request.FILES['file']来获取上传文件的具体数据，其中的键值“file”是根据“file = forms.FileField()”的变量名而来的。在第05行代码中，必须将request.FILES传入表单的构造方法中，只有这样文件数据才能绑定到表单中。
【Python&RS】基于矢量点读取遥感影像波段值&制作训练样本
最新发布
Remote Sensing迷途小书童
08-05 234
在进行遥感定量反演或数据分析时，往往我们都具有矢量的真值，可能是点文件也可能是面文件，最重要的还是通过这个矢量获取影像中该区域的值，这样方便做波段分析以及后续的反演等流程。今天给大家分享一下如何通过点文件获取影像的波段值。
一行代码教你使用Python制作炫酷二维码
qq_36807888的博客
07-30 535
无论是简单的信息传递，还是个性化的品牌推广，MyQR 都能满足你的需求。MyQR 是一个 Python 库，用于生成自定义二维码，包括带有 Logo、彩色和动态的二维码。picture 参数用于设置背景图片，如果想要生成透明背景的二维码，可以将 colorized 参数设置为 True，并将背景图片设置为透明图片。二维码，我们日常生活中随处可见的编码方式，凭借其方便快捷的信息承载能力，已经渗透到各行各业。MyQR 真正强大的之处在于它丰富的自定义选项，让你可以生成各种样式的二维码。
【打家劫舍】python刷题记录
m0_73629042的博客
07-31 304
和爬楼梯有点相似，每次隔1格，2格，3格----(隔3格就亏了，所以还是类似爬楼梯问题，1格或者2格)第100篇blog.
python3 pyside6图形库学习笔记及实践（三）
qq_27489877的博客
08-05 535
本系列文章为b站PySide6教程以及官方文档的学习笔记。本文内容包括菜单栏、上下文菜单、折叠菜单以及资源的加载。
程序如何自动点击亚马逊商户后台的“邀请评论”按钮
Hellc007的博客
07-31 508
要在亚马逊上自动点击“邀请评论”按钮，可以使用自动化脚本来实现。由于你希望自动化操作，我提供一个示例代码，使用 Selenium WebDriver 来执行这个任务。Selenium 是一个流行的浏览器自动化工具，能够模拟用户操作，例如点击按钮和填写表单。
如何用requests和selenium组合进行爬虫，请用代码给出示例
04-11
以下是使用requests和selenium组合进行爬虫的示例代码： ```python from selenium import webdriver import requests # 启动Chrome浏览器 options = webdriver.ChromeOptions() options.add_argument('--headless') browser = webdriver.Chrome(options=options) # 使用requests和selenium组合进行爬虫 url = 'https://www.example.com' browser.get(url) html = browser.page_source response = requests.get(url, headers={'User-Agent': 'Mozilla/5.0'}, cookies=browser.get_cookies()) print(response.text) # 关闭浏览器 browser.quit() ``` 这段代码将打开Chrome浏览器并访问指定的网页，使用浏览器渲染出的HTML内容进行爬取，同时还可以设置请求头和Cookie等。最后关闭浏览器，以便释放内存。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值