python爬虫示例一：selenuim + requests实现自动登录获取网页cookie信息并爬取数据

由于公司需要每周统计各系统使用量数据，其中一些系统是需要登录系统获取，过程十分繁琐，因此在网上查找办法，通过实践得出以下解决方案：采用
selenuim + requests实现自动登录获取网页cookie信息，然后通过此cookie进行网页的数据爬取。

不多说其他的，直接上代码，另外提几个注意点：
（1）有些网站设置了反爬机制，我们需要手动添加headers，加入user-agent参数，详细请看代码
（2）另外使用selenium组件，用的是谷歌浏览器，大家需要下载，同时还需要下载一个webdriver驱动插件，要注意自己的谷歌浏览器和webdriver驱动版本的对应

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
import requests
import json

#将cookie信息添加进requests组件中	
def add_cookies(cookie,s):
	u"往session添加cookies"
	c = requests.cookies.RequestsCookieJar()
	for i in cookie:    #添加cookie到CookieJar
		#print(i)
		c.set(i["name"], i["value"])
	s.cookies.update(c)     #更新session里的cookie
	return s

#获取cookie信息
def getCookie():
	#driver = webdriver.Firefox()
	chrome_options = webdriver.ChromeOptions()
	chrome_options.add_argument('--headless')
	//根据实际修改webdriver路径
	driver = webdriver.Chrome(executable_path="D:/chromedriver_win32/chromedriver.exe",chrome_options=chrome_options)
	driver.get("需要登录的网址")
	element = driver.find_element_by_id("username")
	element.clear()
	element.send_keys("用户名")
	element = driver.find_element_by_id("password")
	element.clear()
	element.send_keys("密码")
	element = driver.find_element_by_id("login")
	element.click()
	time.sleep(5)
	url = driver.current_url
	cookie = driver.get_cookies()
	#print(cookie)
	jsonCookies = json.dumps(cookie) #转字符串
	driver.close()
	return cookie

# 测试代码
if __name__ == '__main__':  
	s = requests.session()
	cookie = getCookie()
	#为requests组件加入cookie信息
	add_cookies(cookie,s)
	#请求需要的数据
	data = {
		'response_data': json.dumps(response_data),
		'filter_condition_key':'', 
		'_search': 'False',
		'nd': 1576549859948,
		'rows': 100,
		'page': 1,
		'sidx': '', 
		'sord': 'asc',
		'Q^ALERT_TIME_START_^DL': 'xxx',
		'Q^ALERT_TIME_START_^DG': 'xxx'
	}
	#反爬破解机制，加入自己网页的user-agent
	headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36 SLBrowser/6.0.1.4221'}
	response = s.post('需要抓取数据的网址', headers,data=data)
	if response.content:
		print(response.json())