有些时候,我们写点爬虫或者写点自动化脚本不能一直占据着某台电脑,那样太浪费资源了,所以将其部署到服务器上默默的在后台运行是一个不错的选择。
普通的python爬虫部署太过简单,这里就总结一下怎么部署selenium吧。
一:首先在服务器上安装chrome和其对应的chromedriver。这个非常重要,一定要下载和安装其一一对应的版本。
- 安装chrome
ubunto:
sudo apt-get install libxss1 libappindicator1 libindicator7
wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
sudo dpkg -i google-chrome*.deb
sudo apt-get install -f
centos7:
yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
安装好之后我们看一下安装的版本
google-chrome --version - 安装chromedriver, 安装对应chrome版本的chromedriver
cd /usr/bin
wget 对应版本的地址
unzip chromedriver_linux64.zip - 赋予chromedriver运行权限
sudo chmod +x /usr/bin/chromedriver
二:进行脚本测试
from selenium import webdriver
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.add_argument('--disable-extensions')
chrome_options.add_argument('--headless')
driver = webdriver.Chrome(chrome_options=chrome_options)
driver.get('http://www.baidu.com')
如果没有什么稀奇古怪的东西出现,说明selenium已经在服务中配置成功
三:如果下载下的chrome不符合你的要求的话,可以将其卸载掉
sudo apt-get remove google-chrome-stable