爬虫--cookies,防盗链

import requests
# session 相当于一个会话,他会记录。
session =requests.session()

所以我们需要找到他需要登陆的那个url,得到cookies数据,比如我们需要登录一个小说,因此我们找到了他应该登录网页的那个url_1。

data = {
    "loginName": "你的用户名",
    "password": "你的密码"
}

session.post(url_1,data=data)

给他放进去,此时已经记录,因此找到我们需要的那个url_2

resp = session.get(url_2)

此时我们,可以进入去提取我们需要的数据

还有一个暴力的方法,是直接在headers中加cookies,但是不建议。

--------------------------------------------------------------------------------------------------------------------------------

         防盗链其实他的意思应该大概是,提取到的网页数据中我们所获得的数据打开并不是我们想要的,而他是进行了修改,真正的url是进行拼接得到的

# true src=   "https://video.pearvideo.com/mp4/adshort/20220329/cont-1756802-15852601_adpkg-ad_hd.mp4"
# false srcUrl:"https://video.pearvideo.com/mp4/adshort/20220329/1648610595090-15852601_adpkg-ad_hd.mp4"

看看他们的不同点,很明显可以看出有不同,所以我们要在源码中提取到我们需要的东西进行拼接。

还有一个东西就是,可以在headers中加入,有的反爬会用到

"Referer": url

#Referer是header的一部分,当浏览器向web服务器发送请求的时候,一般会带上Referer,告诉服务器我是从哪个页面链接过来的,服务器籍此可以获得一些信息用于处理。”

注:目前学习尚浅,如有不对请多多提出

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值