linux服务器搭建python+selenium+chrome运行环境

凌晨九点半

已于 2023-01-16 19:26:03 修改

阅读量1.3k

点赞数

分类专栏： crawler 文章标签： python chrome 服务器 selenium

于 2023-01-16 19:15:36 首次发布

本文链接：https://blog.csdn.net/Darker2017/article/details/128708364

版权

crawler 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

第一步(安装python3.6.8):

安装参考步骤：python3.6.8环境安装

第二步(安装和创建python3虚拟环境):

# 安装virtualenv
pip install virtualenv 
# virtualenv低版本低于1.11，配置python3环境可能出现错误，建议尝试更新virtualenv版本。
pip install --upgrade virtualenv
# 创建python3虚拟环境
virtualenv env -p /usr/local/python3/bin/python3 (virtualenv 虚拟环境名 -p python3路径)
# 运行python3虚拟环境
source env/bin/activate
# 退出python3虚拟环境
deactivate

第三步(在虚拟环境安装依赖包)：

# 从正式环境中导出已安装的包和版本到需要部署的机器批量安装【当前环境依赖见本文末】
pip3 freeze > requirements.txt   批量导出
pip3 install -i https://pypi.doubanio.com/simple --timeout 300 -r requirements.txt 批量安装

第四步(安装chrome和chromedriver):

使用google-chrome --version查看版本，下载对应版本的chromedriver 
所有chromedriver版本下载地址：http://chromedriver.storage.googleapis.com/index.html
大版本一致就可以，当前使用版本: Google Chrome 78.0.3904.108可以选择78.0.3904.105版本驱动
百度网盘：链接: https://pan.baidu.com/s/1eSpjyPpPL7REOU6hgkgLPA?pwd=aqn5 提取码: aqn5

第五步(安装scrapyd环境):

pip3 install scrapyd 		(第三步已安装)
pip3 install scrapyd-client	(第三步已安装)
# 修改scrapyd配置文件: env/lib/python3.6/site-packages/scrapyd/default_scrapyd.conf
bind_address = 0.0.0.0 允许外网访问

第六步(安装虚拟图像环境Xvfb):

yum install Xvfb			
pip3 install pyvirtualdisplay (第三步已安装)

运行实例代码测试：

# -*- coding:utf-8 -*-
from pyvirtualdisplay import Display
from selenium import webdriver
display = Display(visible=0, size = (800, 600))
display.start()
path = "$chromedriver路径"
driver = webdriver.Chrome(path)
driver.get("http://www.baidu.com")
print(driver.page_source)
driver.quit()
display.stop()
如果出现错误：OSError: [Errno 8] Exec format error
检查chrome和driver的版本是否兼容再重新测试，返回页面源码证明chrome和虚拟图像环境可以使用

ps：当前依赖：requirements.txt
百度网盘：链接: https://pan.baidu.com/s/1wU6LZ6UeU9fXX1cpLg_adw?pwd=bnsx 提取码: bnsx