解决selenium正常进入抖音没问题，headless无头模式报错的问题

最新推荐文章于 2025-03-16 02:01:50 发布
最新推荐文章于 2025-03-16 02:01:50 发布
阅读量1.9w 收藏 42
点赞数 20
文章标签： 抖音 反爬机制 无头浏览器 用户代理 元素定位
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_53615617/article/details/121255042
版权

抖音这个网站有许多反爬机制，它会判定你是否是爬虫、是否是自动化测试脚本等。

我用正常selenium访问没有问题，使用无头模式进入就出现报错找不到元素的问题。

下面是原代码，加上heedless就出现元素定位找不到的报错。

 我试了一些方法发现都不不行，然后我就用save_screenshot('./JT.png')截图发现抖音网站界面就只有五个点（如下图）根本就没有访问。

后来设置了窗口大小、开发者模式运行、上网搜了一些方法也还是不行。

后来经过一番探索后发现在代码中加入:

options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36")

请求头就可以了！

 

AM葡萄
关注
selenium抖音
m0_52061496的博客
09-21 1533
from selenium import webdriver import time import pymysql def login(): ''' 模拟登录（不是） ''' driver.get( 'https://www.douyin.com/search/%E5%A4%AE%E8%A7%86%E7%96%AB%E8%8B%97?publish_time=0&sort_type=1&source=normal_search&t.
如何解决selenium无头浏览器访问页面失败问题！！
追梦的女孩博客
04-12 1505
无头浏览器（Headless browser）是一种没有图形用户界面（GUI）的网络浏览器。它可以在后台运行，并通过编程接口进行控制和操作，而不需要显示界面。通常，传统的浏览器如 Chrome、Firefox 和 Safari 都具有图形用户界面，但这些浏览器也提供了无头模式的选项。无头浏览器的主要用途是自动化测试和网页爬取。通过使用编程语言（如JavaScript，Python，Java等）的驱动程序或库，开发者可以模拟用户交互，并执行各种操作，如加载页面、点击按钮、填写表单等。
Selenium无头模式容易遇到的坑
OKCRoss的博客
12-07 3712
使用以上代码初始化selenium后，应该可以规避挺大一部分网站对爬虫的检测了，但是也不是万能的，有些网站可能还是会检测出来，这时候就需要我们自己去分析网站的检测方式，然后针对性的去解决了。selenium无头模式下的浏览器默认是开启GPU加速的，我们可以禁用GPU加速来解决这个问题,GPU加速会让浏览器的性能更好，但是会增加一些特征点，从而被检测出来。无头模式的浏览器向服务器发送的请求头和正常模式下还是有点区别的，这就导致了一些网站会检测到我们是用selenium来访问的，从而导致一些问题。
豆包API的部署和实战|基于 Selenium 的抖音自动化评论系统开发实践
最新发布
专注技术分享
03-16 613
在当今的短视频时代，抖音作为一个主流平台，其自动化运营需求日益增长。本文将介绍一个基于 Selenium 的抖音自动化评论系统的开发实践，重点关注如何处理直播和普通视频的不同场景。
python_selenium使用时，在切换无头模式后报错的原因
m0_62562773的博客
05-24 512
在服务器上可以运行页面，但是要由于没有显示器，所以要修改为无头模式，修改时出现问题，某些按钮无法点击，最后发现原因为：在代码中最大化时的分辨率有问题，导致无法点击按钮。在改为无头模式前，代码一切运行正常，增加下面代码后。
selenium问题-使用无头headless模式报错，Unable to locate element
feichang_notlike3的博客
03-06 660
【代码】selenium问题-使用无头headless模式报错，Unable to locate element。
selenium headless报错Message: unknown error: failed to wait for extension background page to load
呆萌的代Ma
10-13 1356
selenium.common.exceptions.WebDriverException: Message: unknown error: failed to wait for extension background page to load: chrome-extension://xxxxxx/background.html 无解…原因是： chrome headless无头浏览器不支持chrome-extension，至今没有解决… 参考网站： https://stackoverflow.co
python 使用selenium谷歌如何设置无头模式
Dxy1239310216的博客
07-03 1019
在使用Selenium和ChromeDriver时，如果你想要在Python中设置无头模式（headless mode），你需要在创建Chrome WebDriver实例时通过ChromeOptions来设置。无头模式允许你在没有图形界面的环境中运行Chrome浏览器，这在进行自动化测试或者爬虫时非常有用。请注意，为了使上述代码正常工作，你需要确保已经安装了Selenium库，并且ChromeDriver的版本与你的Chrome浏览器版本兼容。你还可以根据需要添加其他参数，比如禁用图片加载或禁用GPU。
python 无头模式_Python + Selenium（二十五）无头模式 headless
weixin_39928461的博客
12-29 3410
所谓浏览器的无头模式headless，就是浏览器在运行时处于后台操作的模式，不会看到浏览器打开，也就不会干扰你手头的工作。对于自动化测试和网络爬虫都有很大的价值。早期我们使用 phantomJS 浏览器来实现这种模式，随着 Chrome 和 Firefox 都加入了无头模式， Selenium 逐渐停止对 phantomJS 的支持。Chrome 的 headlessChrome 的无头模式，通过...
Selenium：设置无头浏览器
R.zb的博客
03-21 2781
selenium 设置无头模式
无头模式下selenium实现长截图（Java版本）
diaojian66的博客
07-27 2351
selenium实现长截图（Java版本）
Python + Selenium【无头模式 headless】
m0_46234991的博客
04-17 962
所谓浏览器的无头模式headless，就是浏览器在运行时处于后台操作的模式，不会看到浏览器打开，也就不会干扰你手头的工作。对于自动化测试和网络爬虫都有很大的价值。 from selenium.webdriver.firefox.options import Options from selenium import webdriver firefox_path = r'geckodriver.exe' options = Options() options.headless = True # 设置无头模式为
Selenium webdriver的无头模式（headless）可能导致cookies内容缺失，以及解决措施
Scott0902的博客
03-07 1万+
笔者测试分别采用无头模式和正常模式访问同一个网站的链接，得出的cookies不一样。
selenium headless模式下防止反爬及页面加载问题
zlq1233217的专栏
12-02 6799
1、无头模式下缺少浏览器信息，或默认填充的浏览器信息带有爬虫痕迹，会被识别为机器人而导致爬虫执行失败。 2、页面动态加载时，有时会根据页面size来布局控件，如果size太小会出现控件加载失败情况。 def HeadlessChromeDriver(headless = True,Proxy = None): from selenium.webdriver import Chrome from selenium.webdriver.chrome.options import Optio
一行代码解决selenium进入抖音出现验证滑块
asdfadafd的博客
03-06 3557
我正常从浏览器进入抖音是不出现验证滑块的，然后用selenium进入抖音网站发现会出现滑块验证 如下如这是原代码： 运行代码后就会发现浏览器出现验证滑块，这是是因为网站识别出你是使用selenium 这个时候在原代码中加入一行代码： options.add_argument(’–disable-blink-features=AutomationControlled’) 就解决了。 ...
selenium获取不到元素解决方法
weixin_43867700的博客
08-20 3596
问题描述： 要对一个页面元素进行操作，但是是一个二级页面，所以一直提示获取不到元素 解决办法： 进行句柄切换到新的句柄 如下代码就是切换到新的页面句柄，就可以进行二级页操作 # 获取当前页的句柄 main_windows = driver.current_window_handle # 获取所有打开的句柄 all_windows = driver.window_h...
Selenium加--headless无界面下无法抓取图片或者其他文件的解决
m0_49501453的博客
09-13 1428
Selenium加–headless无界面下无法抓取图片或者其他文件的解决 贴上代码 url = '你的url' def enable_download_in_headless_chrome(browser, download_dir): #add missing support for chrome "send_command" to selenium webdriver browser.command_executor._commands["send_command"] = ("P
selenium无头浏览器
weixin_46085748的博客
12-06 1132
selenium无头浏览器
selenium定位不到元素常见的问题
热门推荐
天才幻想家
07-03 2万+
1、selenium —— 动态id、class怎么定位 没有打开新页面、没有alert、没有frame、加了等待时间，但是还是定位不到元素？很有可能是你要定位的元素的属性是动态的，即每次打开页面，这个元素的id或者class等元素属性是动态生成的。代码执行时，元素的属性已经与之前不同，用之前的属性值去定位自然是定位不到的，会抛出NoSuchElementException。 ...
selenium headless模式运行报错
08-10
在运行 Selenium 的无头模式时遇到错误，可能有多种原因。以下是一些常见的问题和解决方法： 1. 缺少浏览器驱动程序：无头模式需要使用与浏览器版本相匹配的驱动程序。请确保已正确下载并设置了适用于您使用的浏览器的驱动程序。可以在 Selenium 官方网站（https://www.selenium.dev/downloads/）上找到相应的驱动程序。 2. 驱动程序路径错误：在使用无头模式时，需要指定正确的驱动程序路径。请检查您的代码中的驱动程序路径是否正确，并确保驱动程序文件存在。 3. 浏览器版本与驱动程序版本不匹配：无头模式需要确保浏览器版本与驱动程序版本匹配。请确保您使用的浏览器和驱动程序是兼容的。如果浏览器和驱动程序版本不匹配，可以尝试更新浏览器或使用与您当前浏览器版本兼容的驱动程序。 4. 系统环境配置问题：如果驱动程序无法被识别或加载，可能是由于系统环境变量配置不正确导致的。请确保将驱动程序所在文件夹路径添加到系统的环境变量中。 5. 其他错误：如果以上步骤都没有解决问题，建议提供更具体的错误信息和您的代码，以便更好地帮助您解决问题。 请尝试检查和解决上述问题，并提供更多详细的错误信息，以便我们能够更好地协助您解决问题。
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值