爬虫之selenium替换user-agent

selenium控制谷歌浏览器时，User-Agent默认是谷歌浏览器的

• 替换user-agent的方法

  • 实例化配置对象
    • options = webdriver.ChromeOptions()
  • 配置对象添加替换UA的命令
    • options.add_argument('--user-agent=Mozilla/5.0 HAHA')
  • 实例化带有配置对象的driver对象
    • driver = webdriver.Chrome('./chromedriver', chrome_options=options)

• 参考代码如下：

• from selenium import webdriver
  
  options = webdriver.ChromeOptions() # 创建一个配置对象
  options.add_argument('--user-agent=Mozilla/5.0 HAHA') # 替换User-Agent
  
  driver = webdriver.Chrome('./chromedriver', chrome_options=options)
  
  driver.get('http://www.itcast.cn')
  print(driver.title)
  driver.quit()

示例代码如下：

from selenium import webdriver

url = 'http://www.baidu.com'

#  创建配置对象
opt = webdriver.ChromeOptions()

#  添加配置参数
#  设置浏览器为无头浏览器
# opt.add_argument('--headless')
# opt.add_argument('--disable-gpu')
#  更换IP代理，必须重新启动浏览器
# opt.add_argument('--proxy-server=http://190.171.158.109:999')
#  替换user-agent
opt.add_argument('--user-agent= dgw')

#  创建浏览器对象的时候添加配置对象
driver = webdriver.Chrome(chrome_options=opt)
driver.get(url)
# driver.save_screenshot('baidu_views.png')

运行结果：