Centos7+Python3+chrome无图形界面运行selenium爬虫

一、安装chrome浏览器

1、配置yum源

首先安装google的epel源

vi /etc/yum.repos.d/google.repo
配制如下内容

[google]
name=Google-x86_64
baseurl=http://dl.google.com/linux/rpm/stable/x86_64
enabled=1
gpgcheck=0
gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub

更新yum源

yum update

2、安装google chrome浏览器

yum -y install google-chrome-stable

Google官方源可能在中国无法使用，导致安装失败或者在国内无法更新，可以添加以下参数来安装：

yum -y install google-chrome-stable --nogpgcheck

找到chrome路径，并做个软连接，方便使用

which google-chrome-stable
ln -s 路径 /bin/chrome

解决root用户不能运行chrome

编辑启动文件:
vim /opt/google/chrome/google-chrome
将最后一行改写为:

exec -a "$0" "$HERE/chrome" "$@" --no-sandbox $HOME

查看chrome版本看是否安装成功：

chrome -version

二、chromedriver下载

https://npm.taobao.org/mirrors/chromedriver/

先查看chrome版本，选择相应版本的chromedriver
将下载的chromedriver 放到要执行的python脚本同级目录调用

三、安装selenium,使用是的python3

pip3 install selenium

默认centos 7已经安装了python2，指定python3安装selenium可以指定bin目录下的pip来安装

四、代码测试

以抓取百度首页为例

from selenium import webdriver
from selenium.webdriver.chrome.options import Options  

chrome_options = Options()  
chrome_options.add_argument("--headless")
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--no-sandbox')
url="https://www.baidu.com"
brower=webdriver.Chrome(executable_path="./chromedriver", chrome_options=chrome_options)
brower.get(url)
print(brower.page_source)
brower.quit()

可返回一大堆前端代码

接下来就可以在字符页面，愉快的玩耍selenium的各种功能啦~~~