python爬虫记一次cookie翻车

在这里插入图片描述

起因

用requests 请求天眼查 https://www.tianyancha.com/company/3095761828
我已经登录了,cookie中有东西
cookiestr2dict是我写的一个将cookie字符串直接转变为字典的函数

def cookiestr2dict(cookiestr):
    l = {}
    res = cookiestr.split("; ")
    for kv in res:
        m, n = kv.split("=", maxsplit=1)
        l[m] = n
    r = {}
    return r

问题也就出在这里,加上这个cookie之后,就报错了,什么编码问题
那么是什么原因呢?
cookie中不能有中文!!
所以,我们需要先url encoding一下
吐槽一下,requests库居然没有这个功能,感觉封装过度了,按理说这么有用的功能

from urllib.parse import quote
print(quote('/a=b c?'))  # 不能 编码  /
print(quote('/a=b c?',safe=""))  # 能 编码  /

然后将cookie中的中文url encoding一下就好了

完结撒花

urlencoding
cookie中文

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值