Python3 爬虫学习笔记（一）抓包软件设置

Robots 协议：指明通用爬虫可以爬取网页的权限。

Robots.txt：只是一个建议。

 

Fiddlet 设置：

    点击菜单栏“Tools”----选择“Options…”----点击“HTTPS”

    

         "6"中选择“Trust Root Certificate”----yes

   点击“Connections”

    

    “ok”  保存退出，重启软件。

 

 

谷歌浏览器的 SwitchyOmega 插件设置

      点击左侧“新建情景模式”----名称任意----代理协议选择“HTTP”----代理服务器“127.0.0.1”----代理端口“8888”----点击左侧“应用选项”------使用时点击插件图标选择自己定义的代理名称即可

  

 

Fiddler 抓包https配置 提示creation of the root certificate was not successful 证书安装不成功

但有时候没有弹窗安装证书或根本就没有提示，这种情况一般在Win7中较多出现，Win7的系统https方面 在.net Framework4.0上有bug

网上搜罗一番之后解决方案是

1.cmd 命令行   找到fiddler的安装目录  如:

cd C:\Users\JayshSoft\AppData\Local\Programs\Fiddler

然后执行以下命令

makecert.exe -r -ss my -n "CN=DO_NOT_TRUST_FiddlerRoot, O=DO_NOT_TRUST, OU=Created by http://www.fiddler2.com" -sky signature -eku 1.3.6.1.5.5.7.3.1 -h 1 -cy authority -a sha1 -m 120 -b 09/11/2018

 

注意：这个命令最后的日期 09/11/2018  一定要大于现在的日期 否则创建证书是过期的

 

这样执行完之后 再去重新配置一次 就可以正确安装证书了。