python爬虫入门之头文件转换函数

这篇博客适合有一定Python基础的读者,介绍了如何从Charles抓包工具获取头文件源码,并将其转换为可直接用于Python爬虫代码的字典格式和可传递的头文件形式,简化了头文件的编写工作。
摘要由CSDN通过智能技术生成


前言

刚刚学了两个月的Python爬虫,为了方便自己使用编了好几个简单实用的小函数,这里逐步分享给大家,有什么新编的小函数也会更新,有大佬感觉哪里需要优化的也可以提出来。


提示:此内容适合有一定python基础的同学。

一.从Charles提取头文件源码

从抓包神器charles上提取我们想要的格式的头文件的源码。
复制这一片区域的代码
样本源头格式
在这里插入图片描述

二.将头文件源码改为能复制进代码的头文件

hearder头文件需要的格式是字典格式,经典的字典格式就是
hearder ={
#内容
}
将输出得到的代码复制进内容即可,也方便进行修改

代码如下(示例):

#该文件是hearder头转化函数文件,将Charles中复制的hearder头存入txt文件,然后将其转化为能直接复制的字典格式以便修改头参数
#该文件是hearder头转化函数文件,将Charles中复制的hearder头存入txt文件,然后将其转化为能直接复制的字典格式以便修改头参数
def hearder_cg():
    # 读取目标文件中的头文件源代码[Charles中复制的固定格式头文件]
    file = open("E:\python\pythonProject\\file_iput\hearder.txt",'r')
    lines = file.readlines()
    # 将修改后的代码写入目标文件地址
    with open("E:\python\pythonProject\\file_oput\hearder.txt",'w')as f:
        for line in lines:
            if line[0:13] == 'cookie: _uuid' :#注意大小写,能修改
                line = line.replace(' ', '')
                line = line.replace('\n','')
                line = line.replace(':',"''':'''")
                f.write("'''"+line)
            elif line[0:7] =
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值