Python 爬取需要登陆的网页的信息

最新推荐文章于 2024-04-30 16:24:09 发布

榴莲奶盖

最新推荐文章于 2024-04-30 16:24:09 发布

阅读量3.1k

点赞数 2

分类专栏： python爬虫文章标签： python cookie session

本文链接：https://blog.csdn.net/wh0giq68/article/details/106156517

版权

本文介绍了如何使用Python进行模拟登录操作，包括通过Cookie和Selenium两种方式。详细讲解了如何抓取登录后的网页信息，并利用session保持会话状态。最后，讨论了数据保存为TXT文件时的编码注意事项。

摘要由CSDN通过智能技术生成

Python 爬取需要登陆的网页的信息

登入网页方式
- 1 Cookie
- 2 Selenium
代码实现及解释

登入网页方式

1 Cookie

登入网页后，按F12-选择network-all ,在name中随便点一个，找到request headers, 把cookie复制了，'User-Agent也可以复制。

2 Selenium

具体可以看 https://www.jb51.net/article/165183.htm

代码实现及解释

登入网页

利用requests的session

headers = {
   
    # 浏览器 在找cookie的时候也可以找到
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36',
    # Cookie
    'Cookie': '复制你在网页中找到的cookie，超长一串',
}
session = requests.Session()
response = session.get(