Python 爬取需要登陆的网页的信息
登入网页方式
1 Cookie
登入网页后,按F12-选择network-all ,在name中随便点一个,找到request headers, 把cookie复制了,'User-Agent也可以复制。
2 Selenium
具体可以看 https://www.jb51.net/article/165183.htm
代码实现及解释
登入网页
利用requests的session
headers = {
# 浏览器 在找cookie的时候也可以找到
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36',
# Cookie
'Cookie': '复制你在网页中找到的cookie,超长一串',
}
session = requests.Session()
response = session.get(