1. 下载chrome安装包
wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
2. 安装chrome
sudo apt install google-chrome-stable_current_amd64.deb
3. 下载Selenium
pip install selenium
同时还要下载chrome浏览器的驱动。https://sites.google.com/a/chromium.org/chromedriver/downloads
放到python的bin目录下或启动时指定其路径
如果需要抓取请求和响应,还可以通过代理browsermob-proxy实现。
pip3 install browsermob-proxy
下载browsermob-proxy-2.1.4支持库,并在设置代理时指定其bin的路径
因为browsermob-proxy依赖Java运行时,所以还需要自行配置Java环境。
4. 安装xvfb
如果你的Linux系统中没有安装桌面系统,那么没有办法加载出网页的。所以就需要模拟出桌面环境的渲染机制。
sudo apt-get install xvfb
5. 运行Selenium命令
PROJECT_ROOT = os.path.abspath(os.path.dirname(__file__))
DRIVER_PATH = os.path.join(PROJECT_ROOT, 'browser_driver/chromedriver')
PROXY_PATH = os.path.join(PROJECT_ROOT, 'proxy/browsermob-proxy-2.1.4/bin/browsermob-proxy')
print("start proxy")
server = Server(path=PROXY_PATH, options={'port':8090})
server.start()
print("start proxy success")
proxy = server.create_proxy()
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server={0}'.format(proxy.proxy))
chrome_options.add_argument('--ignore-certificate-errors')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_experimental_option('w3c', False)
driver = webdriver.Chrome(executable_path=DRIVER_PATH,options=chrome_options)
driver.get(‘https://www.baidu.com’)
driver.save_screenshot('screenshot_'+str(int(time.time()))+'.png')
假如以上代码存储在test.py文件中。
通过xvfb运行命令如下:
xvfb-run python test.py