Linux运行webdriver,Linux上部署python+selenium+webdriver常见问题解决方案

折腾了几天的WechatScraper终于部署到Linux服务器上能生产使用了

用篇文章来记录下部署过程中遇到的各种bug和坑。

1. 运行问题

webdriver在有GUI界面的系统上运行是只需要下载chromedriver或者geckodriver等就能直接带动浏览器运行,只需要创建一个浏览器实例就行了

from selenium import webdriver

broswer = webdriver.Chrome(executable_path=/path/to/chromedriver, chrome_options)

在有些不带GUI界面的Linux机器上,如果想要使用webdriver,首推的方案是Python+Selenium+PhantomJS,PhantomJS是一个无头浏览器,即使没有GUI界面也能正常运行,常用于测试等环境。

因为没有GUI,如果我们想使用Chrome/Firefox等浏览去,我们就需要Xvfb和python的pyvirtualdisplay库,给浏览器创造一个运行环境,这样浏览器就能顺利运行了。

注:实际检测,PhantomJS在获取搜索结果的时候跟Firefox/Chrome差别很大,具体原因不太清楚,希望有人能解惑。

2. Executable path

这个常见的报错是

the path to the driver executable must be set blabla...

当webdriver调起浏览器时,需要在系统路径中找到geckodriver或者chromedriver这些能操控浏览器的驱动,所以我们需要将这些文件复制到/usr/bin或者/usr/local/bin或者/usr/sbin这几个文件夹下,这样才能让webdriver顺利调起浏览器供我们使用。

3. chrome not reachable

这个报错比较奇怪,而且当直接去以

cd /path/to/chromedriver && ./chromedriver

这个命令执行的时候,会报错glibc-版本号未安装,这个猜测是因为版本不匹配导致的,因为我后来换了低版本的chromedriver是可以直接运行的,所以如果你的系统上glibc版本不高的话,建议使用低版本的chrome和chromedriver。

结语

暂时想到的就这几个,如果有什么问题,可以直接在评论区回复,如果有其它解决方案或者错误之处,欢迎指出。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,你可以使用 PythonSelenium 库来模拟 Chrome 浏览器操作,实现淘宝自动上下架批量操作。具体步骤如下: 1. 安装 PythonChrome 浏览器。 2. 安装 Selenium 库:在命令行中输入 `pip install selenium`。 3. 下载 Chrome 浏览器对应版本的 ChromeDriver,并将其添加到系统路径中。 4. 编写 Python 脚本,使用 Selenium 模拟 Chrome 浏览器操作,进行自动上下架批量操作。 具体实现步骤可以参考以下代码示例: ``` python from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC # 打开淘宝登录页面 driver = webdriver.Chrome() driver.get("https://login.taobao.com/member/login.jhtml") # 登录淘宝账号 username = "username" # 淘宝账号 password = "password" # 淘宝密码 driver.find_element_by_id("fm-login-id").send_keys(username) driver.find_element_by_id("fm-login-password").send_keys(password) driver.find_element_by_class_name("fm-submit").click() # 进入商品管理页面 driver.get("https://sell.taobao.com/auction/merchandise/auction_list.htm") # 批量上架商品 WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CSS_SELECTOR, ".batch-operate .batch-op-btn"))) driver.find_element_by_css_selector(".batch-operate .batch-op-btn").click() driver.find_element_by_css_selector(".batch-op-menu .J_BatchPublish").click() driver.find_element_by_css_selector(".batch-op-confirm .J_BatchSubmit").click() # 批量下架商品 WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CSS_SELECTOR, ".batch-operate .batch-op-btn"))) driver.find_element_by_css_selector(".batch-operate .batch-op-btn").click() driver.find_element_by_css_selector(".batch-op-menu .J_BatchOffline").click() driver.find_element_by_css_selector(".batch-op-confirm .J_BatchSubmit").click() # 关闭浏览器 driver.quit() ``` 需要注意的是,以上代码仅供参考,具体实现还需要根据自己的需求进行修改和完善。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值