浏览器请求头 request headers转换为字典小工具

功能说明:
在我们进行爬虫的时候,经常需要在浏览器上copy请求头,粘贴到我们的请求头上模拟访问,但是得转化为字典,所以这里用正则简单处理复制下来的文本字符串,自动的转化为字典。
首先把复制下来的请求头放在转换.txt下

Accept: */*
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9
Connection: keep-alive
Content-Length: 308
Content-Type: application/x-www-form-urlencoded; charset=UTF-8
Cookie: BIDUPSID=EAAEC44F956EC0051F3EB986A600267F; PSTM=1618841564; __yjs_duid=1_fc17df5ce48c903e96c35412849fa9c21618841573172; REALTIME_TRANS_SWITCH=1; FANYI_WORD_SWITCH=1; HISTORY_SWITCH=1; SOUND_SPD_SWITCH=1; SOUND_PREFER_SWITCH=1; BAIDUID=58E797C56B56EEAA4E183F111062945A:FG=1; BDORZ=FFFB88E999055A3F8A630C64834BD6D0; BDSFRCVID=9WFOJeC62in8FrOemwHyhfDYr5-hmKbTH6aoKDwU8Z-tNrQ3mKEQEG0Psx8g0K4bNocCogKKL2OTHmuF_2uxOjjg8UtVJeC6EG0Ptf8g0f5; H_BDCLCKID_SF=JRA8oKPXJKvhDRTvhCcjh-FSMgTBKI62aKDsKb_MBhcqEIL4Lpb1KjtubfcubhJ35enkQDocWp6SjxbSj4QohqFWhaO0LfRuQ6cbVxjNJp5nhMJIb67JDMP0qJ7j0-5y523i2IovQpnVfqQ3DRoWXPIqbN7P-p5Z5mAqKl0MLPbtbb0xXj_0D6byDGK8t5LsaCkXBbjOMRj_hILGq4b_eTFiQ4nZKxtqtD5XVpQ-Bb5VfpnwM-jUWJj0qf7LB-jnWncKWhvgbMKWo66mXR5GDPuUQJQ405OT-5-O0KJcJnoFDnOJhPJvyU7XXnO72RQlXbrtXp7_2J0WStbKy4oTjxL1Db3JKjvMtIFtVJO-KKChhC-xjxK; BDSFRCVID_BFESS=9WFOJeC62in8FrOemwHyhfDYr5-hmKbTH6aoKDwU8Z-tNrQ3mKEQEG0Psx8g0K4bNocCogKKL2OTHmuF_2uxOjjg8UtVJeC6EG0Ptf8g0f5; H_BDCLCKID_SF_BFESS=JRA8oKPXJKvhDRTvhCcjh-FSMgTBKI62aKDsKb_MBhcqEIL4Lpb1KjtubfcubhJ35enkQDocWp6SjxbSj4QohqFWhaO0LfRuQ6cbVxjNJp5nhMJIb67JDMP0qJ7j0-5y523i2IovQpnVfqQ3DRoWXPIqbN7P-p5Z5mAqKl0MLPbtbb0xXj_0D6byDGK8t5LsaCkXBbjOMRj_hILGq4b_eTFiQ4nZKxtqtD5XVpQ-Bb5VfpnwM-jUWJj0qf7LB-jnWncKWhvgbMKWo66mXR5GDPuUQJQ405OT-5-O0KJcJnoFDnOJhPJvyU7XXnO72RQlXbrtXp7_2J0WStbKy4oTjxL1Db3JKjvMtIFtVJO-KKChhC-xjxK; MCITY=-224%3A; H_PS_PSSID=31254_26350; Hm_lvt_64ecd82404c51e03dc91cb9e8c025574=1621132314,1621482169,1621561297,1621863154; ZD_ENTRY=baidu; delPer=0; PSINO=3; BDRCVFR[IuwK-wiJ3L3]=K7PavkeTFPTUAN8ULuEQhPEUi4WU6; __yjs_st=2_NTA0ZTY2YWRhOWZlYzFhYjhlMjVlYjhkODFhYzZjN2Q1OTg2MzU3OTU3Zjc0MGZhZDUzZWM5MzJmMWE4NjVmNjFiZTJlM2Y1NTYyNTk4M2VhZTM4YmQxMjE1MjdkZDM0MjAzMjlhOWViZTY5MTBhZDA5ODNmYTRhMjhjM2MxZmM5ODgyOTlhOThlMGY4N2RiZTQyMzFjOGI4ZmRjMGNkMzA4ZWEyNTFkNDNiZjJkY2E0N2U5NGRhZTExYTcwZWM5ZGVlMzEyYjE1OGQ1MDUzZTI2MDZiMWFkNzhhNzEwYzUzZDAxODFmOGRmYjA0MGExY2Q5ZTY1N2IyZDA0ODA5Yl83XzM4ZjBkMDA1; ab_sr=1.0.0_MWM4ZjQxMGUwZDg3NjNhNGQ3MDQwMTkyYWRmMzdlODM2NTA1ODRmZjI3M2ZjMDZjYmY5ODUwYzU5MGNkMDBiOWExMmExYWFlNDViMmRiZmViMGFmY2NjYWQ0ZjU3ZGQ1; Hm_lpvt_64ecd82404c51e03dc91cb9e8c025574=1621941504
Host: fanyi.baidu.com
Origin: https://fanyi.baidu.com
Referer: https://fanyi.baidu.com/?aldtype=16047
Sec-Fetch-Dest: empty
Sec-Fetch-Mode: cors
Sec-Fetch-Site: same-origin
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 SLBrowser/7.0.0.4071 SLBChan/15
X-Requested-With: XMLHttpRequest

然后再运行转换.py文件

import re

dir_requests={}
with open("转换.txt","r",encoding="utf8") as F:
    while True:
        dir_lin=re.match(r'.*',F.readline()).group()
        print(dir_lin)
        dir_list=list(dir_lin.split(":"))
        try:
            dir_requests.update({dir_list[0].strip():dir_list[1].strip()})
        except:
            break

print(dir_requests)
import os

# os.makedirs(r"C:\Users\Windows_pycharm\AppData\Local\pyppeteer\pyppeteer\local-chromium\575458\chrome-win32")

注意转换.txt与转换.py文件在同一目录下,当然也可以自己改一下,转换为字典后,可能不需要某些请求参数,那么我们按需要去按键拿值就ok了

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值