Python + Selenium 被反爬后的解决方法

背景：

需要去爬一个香港的电子元件供应商网站的库存数据，但使用PHP的get_file_content出现403，使用CURL则提示你的浏览器不支持JS和Cookie，被认定为robot了。 然后使用Python3+Selenium+ChromeDriver，在windows上成功爬到数据！

---

问题：

但是放到Linux上面运行时，因为linux无GUI，所以需要用到webdriver的option里的headless，结果又被识别为Robot了（也是提示你的浏览器不支持JS和Cookie）。。网上找了很多方法，都无法解决。

---

解决：

最后，不使用ChromeDriver，改为使用FirefoxDriver (geckodriver)，问题解决！成功可以使用headless在linux上爬到数据！

from selenium import webdriver
from selenium.webdriver.firefox.options import Options

def getHtml(url):
    options = Options()
    options.headless = True
    driver = webdriver.Firefox(executable_path ="/usr/local/bin/geckodriver", options=options)
    driver.get(url)
    print(driver.page_source)

---

附：

Firefox和geckodriver 版本对应参考：

https://firefox-source-docs.mozilla.org/testing/geckodriver/Support.html

geckodriver 下载地址：
https://github.com/mozilla/geckodriver/releases