由于公司需要每周统计各系统使用量数据,其中一些系统是需要登录系统获取,过程十分繁琐,因此在网上查找办法,通过实践得出以下解决方案:采用
selenuim + requests实现自动登录获取网页cookie信息,然后通过此cookie进行网页的数据爬取。
不多说其他的,直接上代码,另外提几个注意点:
(1)有些网站设置了反爬机制,我们需要手动添加headers,加入user-agent参数,详细请看代码
(2)另外使用selenium组件,用的是谷歌浏览器,大家需要下载,同时还需要下载一个webdriver驱动插件,要注意自己的谷歌浏览器和webdriver驱动版本的对应
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
import requests
import json
#将cookie信息添加进requests组件中
def add_cookies(cookie,s):
u"往session添加cookies"
c = requests.cookies.RequestsCookieJar()
for i in cookie: #添加cookie到CookieJar
#print(i)
c.set(i["name"], i["value"])
s.cookies.update(c) #更新session里的cookie
return s
#获取cookie信息
def getCookie():
#driver = webdriver.Firefox()
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
//根据实际修改webdriver路径
driver = webdriver.Chrome(executable_path="D:/chromedriver_win32/chromedriver.exe",chrome_options=chrome_options)
driver.get("需要登录的网址")
element = driver.find_element_by_id("username")
element.clear()
element.send_keys("用户名")
element = driver.find_element_by_id("password")
element.clear()
element.send_keys("密码")
element = driver.find_element_by_id("login")
element.click()
time.sleep(5)
url = driver.current_url
cookie = driver.get_cookies()
#print(cookie)
jsonCookies = json.dumps(cookie) #转字符串
driver.close()
return cookie
# 测试代码
if __name__ == '__main__':
s = requests.session()
cookie = getCookie()
#为requests组件加入cookie信息
add_cookies(cookie,s)
#请求需要的数据
data = {
'response_data': json.dumps(response_data),
'filter_condition_key':'',
'_search': 'False',
'nd': 1576549859948,
'rows': 100,
'page': 1,
'sidx': '',
'sord': 'asc',
'Q^ALERT_TIME_START_^DL': 'xxx',
'Q^ALERT_TIME_START_^DG': 'xxx'
}
#反爬破解机制,加入自己网页的user-agent
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36 SLBrowser/6.0.1.4221'}
response = s.post('需要抓取数据的网址', headers,data=data)
if response.content:
print(response.json())