问题描述
使用网络爬虫伪造请求头的时候,经常要讲浏览器上的请求头复制下来使用,这样就会产生一个问题,将复制的请求头转换为实际能够使用的字典类型,实在是太繁琐了。
解决方案
我们可以借助Pycharm自带的正则替换的方式一键转换。
- 新建一个文件,在文件中创建一个字典并将复制的request headers填入其中,这时候Pycharm会报错,请忽略!
- 使用快捷键ctrl+R,调出替换框,选择Ragex正则模式。
- 将源表达式设置为(.+): (.+)$
- 替换表达式设置为"$1":"$2",
- 点击替换全部即可,获取字典类型的request headers
- 但是这种书写形式实在是太不优雅了,还是使用ctrl+alt+l格式化一下代码,这样看上去就舒服得多
- 注:这种借用IDE进行正则替换的方式,其实质跟使用语言对数据进行正则替换是一样的。也就是说,我们完全可以自己编写一段代码实现request headers从字符串类型到字典类型的转换功能