python爬虫学习之路(6) cookie

最新推荐文章于 2024-08-26 14:02:45 发布

QEcode

最新推荐文章于 2024-08-26 14:02:45 发布

阅读量371

点赞数

分类专栏： python

本文链接：https://blog.csdn.net/QEcode/article/details/81040731

版权

本文介绍了Cookie在Web服务器和客户端之间的角色，以及在Python爬虫中如何利用Cookie进行会话跟踪。通过直接设置Header或使用requests库插入Cookie，实现登录状态维持的爬虫操作。

摘要由CSDN通过智能技术生成

Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密）

Cookie的引文原意是“点心”，它是在客户端访问Web服务器时，服务器在客户端硬盘上存放的信息，好像是服务器发送给客户的“点心”。服务器可以根据Cookie来跟踪客户状态，这对于需要区别客户的场合（如电子商务）特别有用。

当客户端首次请求访问服务器时，服务器先在客户端存放包含该客户的相关信息的Cookie，以后客户端每次请求访问服务器时，都会在HTTP请求数据中包含Cookie，服务器解析HTTP请求中的Cookie，就能由此获得关于客户的相关信息。
因此我们使用登录以后的Cookie。自己编辑Cookie访问Web服务器。网络爬虫中Cookie的两种使用方式
1、直接将Cookie写在header头部

cookie = '''cisession=19dfd70a27ec0eecf1fe3fc2e48b7f91c7c83c60;CNZZDATA1000201968=181584
6425-1478580135-https%253A%252F%252Fwww.baidu.com%252F%7C1483922031;Hm_lvt_f805f7762a9a2
37a0deac37015e9f6d9=1482722012,1483926313;Hm_lpvt_f805f7762a9a237a0deac37015e9f6d9=14839'''


header = {
'User-Agent': '