人生第一篇博客,记录学爬虫时遇到的小饼干cookie。

这次的主要任务是在一个网站下利用爬虫进行评论,然后为了优化代码学习了一点session的知识和cookie的存取。
言归正传,开始!

第一步,登录主页面
headers是爬虫的请求头,我学习的网站里查的,可以不用管,form_data1是写爬虫时在源代码上查的表单数据,由于请求方法是post,所以这里用的是requets.post

[*headers是爬虫的请求头,我学习的网站里查的,可以不用管,form_data1是写爬虫时在源代码上查的表单数据,由于请求方法是post,所以这里用的是requets.post ]
第二步,进入发表评论页面,要有小饼干才行

第二步时由于要登陆网站所以调用了一个小饼干,不然网站会显示未登录,要登陆了才能评论,网站是要评论的网站跟登录时的url不一样*
[*第二步时由于要登陆网站所以调用了一个小饼干,不然网站会显示未登录,要登陆了才能评论,网站是要评论的网站跟登录时的url不一样 ]

上面的代码基本上已经满足了我们利用爬虫进行评论的要求下面是对代码进行优化的步骤。

第三步,优化代码、使用session

使用session后,cookie可以自动保存,轻松实现我们的目的
[*使用session后,cookie可以自动保存,轻松实现我们的目的 ]

最后一步,灵活存取cookie
先存储cookie,把cookie转换成字典,再把字典转换成字符串存储
这里cookie_dict =requests.utils.dict_from_cookiejar(session.cookies)需要注意,跟后面读取cookie时有异曲同工之妙*
[*这里cookie_dict =requests.utils.dict_from_cookiejar(session.cookies)需要注意,跟后面读取cookie时有异曲同工之妙 ]

读取cookie,与存储cookie时相比进行了反向操作
在这里插入图片描述

[**调用了好几个方法]

今天的博客就写到这里咯,争渡~ 争渡~

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Cray_Z.740888

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值