爬虫学习 ----- 第二章 爬取静态网站 ---------- 04 带着cookie去爬取东西

本文介绍了如何在爬虫中使用Session携带Cookie进行登录并获取书架数据。通过观看教程视频,学习了利用Session保持请求过程中的Cookie不变,从而实现连续请求。在获取Cookie后,解析并抓取书架内容,最终将数据存储到数据库。
摘要由CSDN通过智能技术生成

学习自:https://www.bilibili.com/video/BV1b64y117X6?p=43&spm_id_from=pageDriver

1. 带着cookie去爬取东西

任务:

  • 登陆->得到cookie

  • 带着cookie 去请求到书架的 url ->爬取书架上的内容。

  • 将 上面的两个操作 连接起来,

  • 可以用session 进行请求 ,session,可以认为是 一连串的请求。这个过程中 的cookie 是 不会丢失的。

在这里插入图片描述

1. 登陆:

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

import re
import requests

# 开启会话
session = requests.session()


header = {
   
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值