python爬虫---＞谷歌的无头浏览器和反检测

python爬虫—>谷歌的无头浏览器和反检测

• 无头浏览:是在使用selenium是的无可视化，在后台自动运行而不显示出来
• 反检测:有些网站会检测访问的selenium是否是机器，判断是的话会不给请求

from selenium import webdriver
from time import sleep
#这个是用来实现无可视化的
from selenium.webdriver.chrome.options import Options
#这个是用来实现反检测的
from selenium.webdriver import ChromeOptions

#无可视化，无头的操作
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')

#如何实现让selenium实现被检测到的风险
option = ChromeOptions()
option.add_experimental_option('excludeSwitches',['enable-automation'])

bre = webdriver.Chrome('./chromedriver.exe',chrome_options=chrome_options,options=option)
#无可视化界面（无头浏览器）  phantomJS无头（无界面）
bre.get('http://www.baidu.com')
print(bre.page_source)
sleep(2)
bre.quit()