【已解决】使用selenium启动谷歌Chrome浏览器打开指定网站,页面空白,而使用其它浏览器手动打开该网站则正常

使用selenium驱动Chrome浏览器进行网络爬虫时,遇到页面空白问题,经排查确认为网站反爬策略导致。手动访问和其他浏览器正常,怀疑因浏览器指纹差异被识别为自动化工具。解决方案包括修改浏览器配置以降低被检测概率,或使用undetected_chromedriver库以避免被识别。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

问题描述

1、在使用python实现自动化网络爬虫时,我使用到selenium来驱动谷歌Chrome浏览器来打开某一个网页,然后爬取数据,代码如下:


from selenium import webdriver
import time


driver = webdriver.Chrome()
driver.get('https://klatasds.ecnu.edu.cn/xydt/list.htm')

time.sleep(5)
print(driver.page_source)

   2、但是当执行到driver.get(url)访问网站时,页面是空白的,如下所示,没有正常显示该网站的数据

   print输出的网页html也只有如下数据:

<html><head></head><body></body></html>

 3、而我将该url网址收到复制到其他浏览器中访问是正常的,可以看到网页数据&

### OSS 深度巡检中的白屏巡检 #### 定义与目标 白屏巡检是指在不依赖任何命令行工具或脚本的情况下,仅通过浏览器访问对象存储服务(OSS)控制台来进行全面检查的一种方式。这种方式能够帮助运维人员快速发现并解决问题,提高效率的同时也减少了对环境的侵入性[^1]。 #### 巡检内容 - **界面响应速度**:观察页面加载时间和交互应时间是否正常,确保用户体验良好。 - **功能可用性测试**: - 测试文件上传下载、删除等功能按钮的操作流畅性和成功率; - 尝试创建新的Bucket以及设置权限等基础操作,确认各项基本功能无误; - **数据一致性校验**: - 对比不同区域间的数据同步情况; - 抽查部分文件元数据信息的一致性,比如大小、修改日期等属性; - **错误提示准确性评估**: - 故意触发一些非法输入场景下的报错机制,查看返回的信息是否清晰明了且具有指导意义; - 确认跨域资源共享(CORS)规则设定恰当与否; - **性能瓶颈排查**: - 利用开发者工具分析网络请求耗时分布状况; - 关注是否有明显的延迟热点存在; ```python import time from selenium import webdriver def check_page_load_time(url): driver = webdriver.Chrome() start_time = time.time() driver.get(url) end_time = time.time() load_time = round(end_time - start_time, 2) print(f"Page loaded in {load_time} seconds.") driver.quit() check_page_load_time('https://console.aliyun.com/oss') ``` 此Python代码片段展示了如何利用Selenium库自动化测量网页加载所需的时间作为示例之一。实际应用中可根据具体需求调整参数或增加更多检测项。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阳光宅男xxb

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值