在写爬虫的时候需要复制谷歌浏览器的request的header信息放在程序中,以保证request的成功(浏览器header中会有很多信息,不一定都是访问必须的,一般只有部分信息是成功访问必须的比如:user_agent和referer),下面的方法可以在pycharm中快速格式化这些内容,然后放在代码中使用
# 1.将浏览器复制header直接粘贴在空白py文件中 # 2.ctrl+R调出正则匹配工具栏 # 3.工具栏第一行输入 (.*?): (.*) 第二行输入 '$1':'$2',(注意最后一个逗号) # 4.选择regex,然后replace_all