Selenium设置Chrome和PhantomJS的请求头信息

对于反爬虫来说，部分对策可以选择Selenium模拟器进行爬取，但是问题来了，如何设置请求头呢，模拟器是怎样伪装的呢？

目录：

• 一：selenium设置phantomjs请求头
• 二：selenium设置chrome请求头
• 三：selenium设置chrome–cookie
• 四：selenium设置phantomjs-图片不加载

一：selenium设置phantomjs请求头：

设置http://www.cnblogs.com/TTyb/p/6128323.html 网址，可看见自己设置的头文件，感谢百度

如代码：

from selenium import webdriver

from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36',
    'Connection': 'keep-alive'
}

cap = DesiredCapabilities.PHANTOMJS.copy() # 使用copy()防止修改原代码定义dict

for key, value in headers.items():
    cap['phantomjs.page.customHeaders.{}'.format(
        key)] = value
browser = webdriver.PhantomJS(desired_capabilities=cap)

browser.get("http://httpbin.org/get?show_env=1")

# print(browser.page_source)
browser.get_screenshot_as_file('01.png')

browser.close()

二：selenium设置chrome请求头：

来源 http://www.cnblogs.com/TTyb/p/6128323.html ，感恩原作者

from selenium import webdriver  # 进入浏览器设置

options = webdriver.ChromeOptions()  # 设置中文

options.add_argument('lang=zh_CN.UTF-8')  # 更换头部

options.add_argument('User-Agent="Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"')

browser = webdriver.Chrome(chrome_options=options)

browser.get("http://httpbin.org/get")

print(browser.page_source)

browser.close()

三：selenium设置chrome–cookie：

cookie用于模拟登陆，记录会话

from selenium import webdriver

browser = webdriver.Chrome()

browser.get("https://www.baidu.com/")

new_window = 'window.open("https://www.baidu.com");'  # 打开新窗口

browser.delete_all_cookies()  # 删除原来的cookie

browser.add_cookie({'name': 'ABC', 'value': 'DEF'})  # 携带cookie打开

browser.execute_script(new_window)  # 通过js新打开一个窗口

input("查看效果")

browser.close()

四：selenium设置phantomjs-图片不加载：

 

from selenium import webdriver

options = webdriver.ChromeOptions()

prefs = {
    'profile.default_content_setting_values': {
        'images': 2
    }
}
options.add_experimental_option('prefs', prefs)

browser = webdriver.Chrome(chrome_options=options)

browser.get("http://image.baidu.com/")

input("是否有图")

browser.close()

效果如图：

特此记录，以备不时之需