jss19940414的博客

fake_useragent_随机请求头模块 当我们在对目标url进行数据采集的时候，难免会遇到反爬，比如说一定时间内你的ip访问量过多的时候，你在请求url，就给你一个反馈，告诉你你的请求次数太频繁，请稍后再试，无法正常的进行数据采集，那么我们可以伪造请求头和ip来对目标url进行访问，这里先介绍请求头。 1.安装 方法一：在cmd命令行中进行安装，pip install fake_use...

问题描述： 当我使用chrom浏览器爬虫对某网页进行抓包的时候，查看到的请求的请求头是不显示完全的，很奇葩，从来没有遇到过，特此mark下，截图如下： 解决方案: 电脑下方任务栏chrom图标右键选择打开一个新的窗口，，访问要抓包的url地址，重新抓包。(两个红框选择都可以，我是选择的底下那个红框进行打开新的浏览器窗口) 上一步如果不成功的话，清除chro...