1.在登录界面打开检查,从检查network里捕捉login的登录信息和login_url
登录信息即是from_data
2.将登录信息作为python字典data里元素
3.调用session = requests.session()
4.session.post(login_url,data)
post 或 get根据检查里信息看
获取cookie信息
5.在登录以后的界面找到要爬取的信息
刷新 页面,在检查里看network的preview找到文字内容后,在preview旁边的headers找到url
用resp = session.get(url)爬取信息,可以将爬取的信息存到字符串中
6.用xpath,re,bs4继续爬取信息
import requests import re login_url = "xxxxxxxxxxxx" data = { :, : } session = requests.sessi