爬虫篇（7）一键转换爬虫请求头headers、Cookies (Fillder/各大浏览器适用)

最新推荐文章于 2024-05-02 21:47:38 发布

tzyyy1

最新推荐文章于 2024-05-02 21:47:38 发布

阅读量741

点赞数

分类专栏：爬虫文章标签：爬虫

本文链接：https://blog.csdn.net/tzyyy1/article/details/97656367

版权

本文介绍了如何优化爬虫请求头headers和Cookies的转换过程，提供了简洁的代码实现，并给出了执行结果。适合爬虫新手参考。

摘要由CSDN通过智能技术生成

参考：https://blog.csdn.net/qq_39802740/article/details/89884756

前言：前些天看到一篇关于一键转换爬虫请求头headers的博客，不过感觉代码冗余度有些高，经过优化并添加了一些东西的东西后写了这篇博客

代码：

#!/usr/bin/python
# -*- coding: UTF-8 -*-


def get_header(headers):
    infos = headers.split("\n")
    while "" in infos:
        infos.remove("")
    header = {i.split(": ")[0]: i.split(":")[1] for i in infos}
    return header


def get_cookie(cookies):
    infos = cookies.replace("\n", "").split("; ")
    while "" in infos:
        infos.remove("")
    header = {i.split("=")[0]: i.split("=")[1] for i in infos}
    return header
    # 当字符cookie没有换行时，可简洁到只使用一条代码
    # return {i.split("=")[0]: i.split("=")[1] for i in cookies.sp