selenium + Firefox browser.page_source报错

最新推荐文章于 2021-01-12 11:44:29 发布
最新推荐文章于 2021-01-12 11:44:29 发布
阅读量506 收藏
点赞数
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43572758/article/details/109532108
版权 
def get_page_source(self):
    try:
        return self.browser.page_source
    except InvalidArgumentException:
        escape_html = self.browser.execute_script("return escape(document.documentElement.outerHTML)")
        return execjs.eval(f"unescape('{escape_html}')").encode('utf-8', errors='ignore').decode('utf-8')
看见我书了吗
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
selenium浏览器常见操作
weixin_40611700的博客
11-21 1306
from selenium import webdriver # 得到一个浏览器Chrome # executable_path表示浏览器驱动的文件路径 # browser = webdriver.Chrome(executable_path='chromedriver.exe') # 如果不想传浏览器的路径，可以事先把chromedriver.exe放到python.exe同目录下 browser = webdriver.Chrome() # 访问一个网址 browser.get('http://te.
page_sourse爬取渲染后的页面代码
米兔-miny的博客
11-15 913
爬页面源码（page_source） 一般来说，selenium的page_source方法可以直接返回页面源代码 爬取网页ICP号： from selenium import webdriver import re html_list=[ "http://anzhuo.paojiao.cn/", "http://sj.zol.com.cn/android_app/", "https://appgallery.huawei.com/#/Apps", ] for url in
最完美方案！如何防止 Selenium 被检测出来
静觅
12-09 2万+
“ 阅读本文大概需要 2 分钟。 ”在一篇公众号文章《别去送死了。Selenium 与 Puppeteer 能被网站探测的几十个特征》中，我们知道目前网上的反检测方法几乎都是掩耳盗铃，因...
解决document.documentElement.body的值是null
qq_36797488的博客
06-15 1453
      问题的原因很简单，是因为我们在body标签前就加载了js，此时还没有body元素     问题的解决办法就是把调用到document.body的JS代码移到body标签代码结束之后...
selenium的browser.page_source无法返回页面内容
weixin_30527323的博客
09-26 3313
selenium的browser.page_source无法返回页面内容 可能是编码的问题。。 html= (browser.page_source).encode('GBK', 'ignore') 　　 另外：元素内容直接获取： browser.find_element_by_id("login_info").text 转载于:https://www.cnbl...
Selenium+Python 使用send_keys报错
01-20
问题背景： 使用基于Python的Selenium自动化测试，代码如下: from selenium import ...运行报错如下: File D:/PythonWorkSpace/AutomaticTesting/Demo.py, line 8, in driver.find_element_by_id(kw).send_key
selenium+chromedriver120.0.6046.0-win64+python自动化操作
最新发布
02-23
selenium+chromedriver120.0.6046.0-win64+python测试代码 项目介绍： 该案例是利用selenium使用xls中的数据对表单自动化填充及提交 项目中用到了chromedriver版本为120.0.6046.0系统win10 64位，需要安装谷歌浏览器...
selenium+python配置.docx
05-07
assert "Selenium" in driver.page_source driver.close() if __name__ == "__main__": test_browser() ``` 这个例子中，我们导入了webdriver模块，创建了一个浏览器实例，打开Google首页，检查页面标题，输入...
09-selenium+Chrome登陆豆瓣案例.py
05-05
09_selenium+Chrome登陆...selenium+Chrome登陆豆瓣案例.py09_selenium+Chrome登陆豆瓣案例.py09_selenium+Chrome登陆豆瓣案例.py09_selenium+Chrome登陆豆瓣案例.py09_selenium+Chrome登陆豆瓣案例.py09_selenium+Ch
selenium-java-2.51.0.zip_android_selenium jar 包_selenium-java-2.
09-23
标题中的`selenium-java-2.51.0.zip`是一个包含Selenium Java绑定的压缩文件，版本号为2.51.0。Selenium是一个广泛使用的自动化测试工具，主要用于Web应用的测试，它允许开发者用多种编程语言编写脚本来控制浏览器...
Python基础-常见问题：运行代码时提示“SyntaxError: expected an indented block”，怎么解决呢？
weixin_42321517的博客
01-12 2万+
运行代码时提示“SyntaxError: expected an indented block”， 说明缩进有问题，请检查缩进后，调整正确即可。 Python代码对缩进的要求非常严格，相同层次的代码必须具有同样的缩进量。 ...
selenium用法详解
山那边的瘦子
06-10 502
selenium用法详解 *selenium主要是用来做自动化测试，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题。 模拟浏览器进行网页加载，当requests,urllib无法正常获取网页内容的时候* 一、声明浏览器对象 注意点一，Python文件名或者包名不要命名为selenium，会导致无法导入 from selenium import webdriver w...
selenium获取页面源码，判断是否存在指定内容，执行不同的操作
dengjieai3347的博客
09-01 1160
本案例用于解决selenium UI自动化，判断页面是否存在指定文字，执行后续不同的操作 主要用到browser.page_source 如，保存百度分享文件到自己的百度盘中，会出现文件被删除无法保存的情况 如果不做判断，脚本即停止 在脚本中加入下面的内容，即可解决这个问题。 browser.page_source获取当前页源码 if u"分享的文件已经被删除了...
selenium 爬页面源码（page_source ）
MTbaby的博客
08-25 2万+
前言 有时候通过元素的属性的查找页面上的某个元素，可能不太好找，这时候可以从源码中爬出想要的信息。selenium 的 page_source 方法可以获取到页面源码。1.selenium 的 page_source 方法可以直接返回页面源码 2.重新赋值后打印出来这里可以使用正则匹配到你想要的数据，比如我这里想要所有的链接，
Python+Selenium-5-driver.page_source获取页面源码
热门推荐
karry_孙二的博客
12-22 3万+
driver.page_source selenium的page_source方法可以获取到页面源码 跟爬虫有点相似，获取到页面资源，提取出我们需要的信息 案例 以煎蛋网为例，获取首页的全部title（获取页面源码 -- 使用re正则提取需要的title） 代码 #coding:utf-8 from selenium import webdriver import re cla...
针对懒加载如何实现selenium 滑动至页面底部page_source一次性包含全部网页内容
supramolecular的博客
08-28 5304
有时网站使用了懒加载技术：只有在浏览器中纵向滚动条滚动到指定的位置时，页面的元素才会被动态加载。注意，在加载之前，selenium的page_source是不会包含该页面的内容,page_source只包含加载出来的页面内容。那么如何实现加载全部内容了,就需要模拟人滚动滚动条的行为,实现页面的加载 from selenium.webdriver.chrome.options import Op...
selenium 获取网页源码
IAlexanderI的专栏
05-11 3万+
selenium本是用来对web application做自动化测试的。不过，它有个天大的好处：能让我们用python(当然不仅是python)代码模拟人对浏览器的操作。 所需软件：python2.7 , firefox 25.0.1(版本不能太高), selenium2.44.0(使用pip install selenium安装即可) 1. 打开浏览器，请求百度主页，5秒钟后关闭浏览器 fro
python获取自己发的说说内容
ZCC的专栏
08-06 1807
一、模拟登陆 import re from selenium import webdriver from time import sleep from PIL import Image #定义QQ空间登录函数 def QR_login(): def getGTK(cookie): """ 根据cookie得到GTK """ hashes = 5381
Python selenium 用 page_source 获取网页源码
weixin_42544006的博客
03-07 7769
from selenium import webdriver driver = webdriver.Chrome() response = driver.get('http://culture.dzwww.com/wx/') print(driver.page_source)
import time from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC def login_bp(url, username, password): # 创建一个浏览器实例 options = webdriver.EdgeOptions() options.add_experimental_option('detach', True) # 打开登录页面 browser = webdriver.Edge() browser.get(url) # 找到用户名输入框并输入密码 username_input = WebDriverWait(browser, 10).until(EC.visibility_of_element_located((By.ID, 'username'))) username_input.send_keys(username) # 找到密码输入框并输入密码 password_input = WebDriverWait(browser, 10).until(EC.visibility_of_element_located((By.ID, 'password'))) password_input.send_keys(password) # 模拟回车键，提交表单 login_btn = browser.find_element(by=By.ID, value='denglub') login_btn.send_keys(Keys.ENTER) # 获取cookie信息 cookies = browser.get_cookies() print("Cookies:", cookies) # 获取响应体和载荷信息 page_source = browser.page_source current_url = browser.current_url print("Page Source:", page_source) print("Current URL:", current_url) if __name__ == '__main__': # 定义目标信息 atr_url = { 'url': 'http://pfs.ikhtech.com/FAPI/login.jsp', 'username': 'zhangwei', 'password': 'zhangwei' } login_bp(atr_url['url'], atr_url['username'], atr_url['password']) 如何获取到页面返回的XHR值、载荷等信息
07-17
要获取页面返回的XHR值、载荷等信息，你可以使用Selenium的`browser.execute_script()`方法来执行JavaScript代码，通过JavaScript代码可以获取XHR值和页面的载荷信息。 以下是一个简单的示例代码，展示了如何获取XHR值和页面的载荷信息： ```python from selenium import webdriver # 创建一个浏览器实例 browser = webdriver.Edge() # 打开页面 browser.get('http://example.com') # 执行JavaScript代码获取XHR值和页面的载荷信息 xhr_script = """ var xhr = new XMLHttpRequest(); xhr.onreadystatechange = function() { if (xhr.readyState === 4 && xhr.status === 200) { console.log("XHR Response:", xhr.responseText); } }; xhr.open("GET", window.location.href, true); xhr.send(); """ browser.execute_script(xhr_script) # 获取页面载荷信息 page_source = browser.page_source print("Page Source:", page_source) # 关闭浏览器 browser.quit() ``` 在上面的示例代码中，首先创建了一个Edge浏览器实例，然后使用`browser.get()`方法打开了一个网页。接着使用`browser.execute_script()`方法执行了一段JavaScript代码，该代码创建了一个XMLHttpRequest对象，并发送了一个GET请求到当前页面的URL。通过`xhr.onreadystatechange`事件监听，可以在XHR请求状态变为4（即请求完成）且状态码为200时，打印XHR的响应内容。最后使用`browser.page_source`属性获取页面的载荷信息。 你可以根据自己的实际需求修改JavaScript代码，以适应不同的页面和获取不同的信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值