python爬虫模拟浏览器的两种方法_python爬虫模拟浏览器的两种方法实例分析

最新推荐文章于 2024-05-26 00:43:01 发布
最新推荐文章于 2024-05-26 00:43:01 发布
阅读量3.5k 收藏 6
点赞数 1
文章标签： python爬虫模拟浏览器的两种方法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36476970/article/details/114447424
版权

本文实例讲述了python爬虫模拟浏览器的两种方法。分享给大家供大家参考，具体如下：

爬虫爬取网站出现403，因为站点做了防爬虫的设置

一、Herders 属性

爬取CSDN博客

import urllib.request

url = "http://blog.csdn.net/hurmishine/article/details/71708030"file = urllib.request.urlopen(url)

爬取结果

urllib.error.HTTPError: HTTP Error 403: Forbidden

这就说明CSDN做了一些设置，来防止别人恶意爬取信息

所以接下来，我们需要让爬虫模拟成浏览器

任意打开一个网页，比如打开百度,然后按F12，此时会出现一个窗口，我们切换到Network标签页，然后点击刷新网站，选中弹出框左侧的“www.baidu.com”，即下图所示：

a1a596f80089dbeb35f9b64273789b94.png

往下拖动 我们会看到“User-Agent”字样的一串信息，没错 这就是我们想要的东西。我们将其复制下来。

此时我们得到的信息是：”Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36”

最低0.47元/天 解锁文章
游志军
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python爬虫入门5：模拟浏览器访问网站
老猿Python
01-23 2793
本节老猿介绍了利用浏览器获取的http请求头信息构造Python模拟浏览器访问请求头的过程，并提供了一个读取CSDN指定网页的案例。
python爬虫模拟浏览器的两种方法_python3爬虫的模拟浏览器
weixin_32831131的博客
02-21 2497
爬虫的使用过程中，网站最简单的反爬虫就是验证发起请求的客户端是否为浏览器，因此需要爬虫模拟浏览器对网站发起请求。这里介绍一个fake_useraent1、伪造useragent字符串，每次请求都使用随机生成的useragen为了减少复杂度，随机生成UA的功能通过第三方模块库fake-useragent实现，使用pip进行安装pip install fake-useragent2、生成一个usera...
Python实现简单Web服务器及模拟浏览器
2401_82928104的博客
05-26 1907
笔者在进行操作的时候发现了一个小bug，就是在响应浏览器时，浏览器会默认发起 Favicon.ico 请求，这是一个图标生成器，用于快捷标记网页。超文本传输协议是一种用于分布式、协作式和超媒体信息系统的应用层协议，是万维网WWW（World Wide Web）的数据通信的基础。但是浏览器在访问DNS之前会首先访问本地DNS缓存，也就是hosts文件，如果没有找到对应的IP，浏览器才会访问DNS。请求和响应消息的头以。DNS（域名解析系统）用于将域名转成对应的IP地址，DNS是一台运行在互联网上的服务器。
干货分享：python爬虫模拟浏览器的两种方法实例分析（赶紧收藏）
weixin_45550143的博客
12-11 988
今天为大家带来的内容是：干货分享：python爬虫模拟浏览器的两种方法实例分析（赶紧收藏） 文章主要介绍了python爬虫模拟浏览器的两种方法,结合实例形式分析了Python爬虫模拟浏览器的两种常见操作技巧与使用注意事项,需要的朋友可以参考下！！！ 本文实例讲述了python爬虫模拟浏览器的两种方法。分享给大家供大家参考，具体如下： 爬虫爬取网站出现403，因为站点做了防爬虫的设置 一、H...
python爬虫模拟浏览器的两种方法实例分析
python爬虫教程
03-08 4368
本文实例讲述了python爬虫模拟浏览器的两种方法。分享给大家供大家参考，具体如下： 爬虫爬取网站出现403，因为站点做了防爬虫的设置 一、Herders 属性 爬取CSDN博客 import urllib.request url = "http://blog.csdn.net/hurmishine/article/details/71708030"file = urllib.request.ur...
python 模拟微信浏览器请求_python爬虫:使用Selenium模拟浏览器行为
weixin_39840153的博客
11-20 2363
前几天有位微信读者问我一个爬虫的问题，就是在爬去百度贴吧首页的热门动态下面的图片的时候，爬取的图片总是爬取不完整，比首页看到的少。原因他也大概分析了下，就是后面的图片是动态加载的。他的问题就是这部分动态加载的图片该怎么爬取到。分析他的代码比较简单，主要有以下的步骤：使用BeautifulSoup库，打开百度贴吧的首页地址，再解析得到id为new_list标签底下的img标签，最后将img标签的图片...
python 浏览器模拟手机_Python爬虫关于移动端模拟
weixin_34049581的博客
01-14 2202
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理以下文章来源于腾讯云，作者：测试小兵坚持梦想就算所有人都不支持你。这条路会很曲折，你也会一度认为是不是自己选错了，但只要坚持，就算最后没有成功，但努力了就不会有遗憾。python爬虫之移动端模拟小贴士分享一篇老文章 手机类型有点落后，其它可参考。很有技术性，值得学习。欢迎各位前沿者提...
Python爬虫模拟浏览器神器
Trb201013的博客
02-22 1309
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。最后祝大家天天进步！
Linux系统下安装Python爬虫环境+模拟浏览器插件
qq_40304090的博客
12-13 2151
一、服务器版本 Centos7以上版本 二、配置python环境 1、安装依赖包 yum -y install gcc gcc-c++ yum -y install zlib zlib-devel yum -y install bzip2 bzip2-devel yum -y install ncurses ncurses-devel yum -y install read...
Python爬虫进阶（三）：Selenium模拟浏览器操作
AugustTheodor的博客
12-28 5678
这一节我们来讲解使用selenium来模拟浏览器操作进而方便快捷可视化地冲破网站的“关卡”。 关于Selenium 前面我说过selenium是一套自动化测试工具，但是可以用于爬虫。通过Selenium操控浏览器执行操作，我们可以发出与真人用户行为完全一致的动作（因为它本就来自于浏览器）。更重要的是，selenium操作浏览器的过程是可以被编程者看见的，这也就是为什么我会用selenium+chrome作为例子（不用PhantomJS就是因为没有界面不方便观察）。 启动webdriver 本文用ch
python爬虫模拟浏览器访问-User-Agent过程解析
09-18
主要介绍了python爬虫模拟浏览器访问-User-Agent过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
python爬虫 使用真实浏览器打开网页的两种方法总结
12-25
1.使用系统自带库 os 这种方法的优点是，任何浏览器都...python的webbrowser模块支持对浏览器进行一些操作,主要有以下三个方法： import webbrowser webbrowser.open(url, new=0, autoraise=True) webbrowser.open_new
浅谈python爬虫使用Selenium模拟浏览器行为
09-20
主要介绍了浅谈python爬虫使用Selenium模拟浏览器行为，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
pillow-10.4.0-pp39-pypy39_pp73-macosx_11_0_arm64.whl
07-27
基本介绍 名称与起源：Pillow，原名为PIL（Python Imaging Library），但PIL只支持Python 2版本。随着Python 3的普及，Pillow作为PIL的一个分支出现，兼容Python 3并提供更多的功能和改进。 主要功能：Pillow支持多种图像格式的打开、保存、显示以及基本的图像操作和处理，如裁剪、缩放、旋转、翻转、滤镜应用等。 跨平台性：Pillow库可以在不同的操作系统上运行，包括Windows、Linux和MacOS等。 主要功能模块 Pillow库包含多个功能模块，每个模块都提供了特定的图像处理功能。以下是一些常用的模块： Image：用于处理图像文件，提供打开、保存、调整大小、旋转、裁剪、滤镜等功能。 ImageDraw：提供在图像上绘制各种形状（如线条、矩形、圆形）和文本的功能。 ImageFont：用于加载和使用TrueType字体文件，以便在图像上绘制文本时设置字体样式、大小和颜色。 ImageFilter：提供各种滤镜效果，如模糊、锐化、边缘增强等，用于图像增强、特效处理和图像识别等应用。 ImageEnhance：用于调整图像的亮度、对比度、颜色饱和度等参数，使图像更加清晰、明亮或具有特定的调色效果。 高级功能 除了基本的图像处理功能外，Pillow还支持一些高级功能，如色彩空间转换、直方图均衡化等。这些功能可以帮助用户进行更复杂的图像处理和分析。
avif-0.5.0-cp35-cp35m-macosx_10_9_x86_64.whl
07-27
python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！
pillow-10.4.0-cp39-cp39-musllinux_1_2_x86_64.whl
07-27
基本介绍 名称与起源：Pillow，原名为PIL（Python Imaging Library），但PIL只支持Python 2版本。随着Python 3的普及，Pillow作为PIL的一个分支出现，兼容Python 3并提供更多的功能和改进。 主要功能：Pillow支持多种图像格式的打开、保存、显示以及基本的图像操作和处理，如裁剪、缩放、旋转、翻转、滤镜应用等。 跨平台性：Pillow库可以在不同的操作系统上运行，包括Windows、Linux和MacOS等。 主要功能模块 Pillow库包含多个功能模块，每个模块都提供了特定的图像处理功能。以下是一些常用的模块： Image：用于处理图像文件，提供打开、保存、调整大小、旋转、裁剪、滤镜等功能。 ImageDraw：提供在图像上绘制各种形状（如线条、矩形、圆形）和文本的功能。 ImageFont：用于加载和使用TrueType字体文件，以便在图像上绘制文本时设置字体样式、大小和颜色。 ImageFilter：提供各种滤镜效果，如模糊、锐化、边缘增强等，用于图像增强、特效处理和图像识别等应用。 ImageEnhance：用于调整图像的亮度、对比度、颜色饱和度等参数，使图像更加清晰、明亮或具有特定的调色效果。 高级功能 除了基本的图像处理功能外，Pillow还支持一些高级功能，如色彩空间转换、直方图均衡化等。这些功能可以帮助用户进行更复杂的图像处理和分析。
1250KVA本体基础图11
最新发布
07-27
1250KVA本体基础图11
python爬虫模拟浏览器
05-20
使用Python进行爬虫时，模拟浏览器可以提高程序的稳定性和可靠性。常用的模拟浏览器的库有Selenium和Requests-HTML。 Selenium可以模拟人类使用浏览器的行为，包括点击、输入等操作，同时还可以获取JavaScript渲染的页面内容。需要注意的是，Selenium需要安装对应的浏览器驱动，如ChromeDriver或GeckoDriver。 Requests-HTML则是基于Requests库的封装，可以直接获取JavaScript渲染的页面内容，不需要安装浏览器驱动。同时，Requests-HTML还提供了类似BeautifulSoup的解析功能，方便提取页面内容。 下面是一个使用Selenium模拟浏览器的示例代码： ```python from selenium import webdriver # 指定Chrome浏览器驱动路径 driver_path = '/path/to/chromedriver' # 创建Chrome浏览器对象 driver = webdriver.Chrome(executable_path=driver_path) # 访问页面 driver.get('https://www.example.com') # 获取页面源码 page_source = driver.page_source # 关闭浏览器 driver.quit() ``` 下面是一个使用Requests-HTML模拟浏览器的示例代码： ```python from requests_html import HTMLSession # 创建HTMLSession对象 session = HTMLSession() # 访问页面 response = session.get('https://www.example.com') # 渲染JavaScript response.html.render() # 获取页面源码 page_source = response.html.html ``` 需要注意的是，模拟浏览器会增加程序的运行时间和资源占用，不建议频繁使用。如果目标网站提供了API接口，最好使用API接口获取数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值