爬虫学习笔记7-谷歌浏览器在爬虫中的常用方法

1、新建隐形窗口

作用：

• 使用隐身窗口，首次打开网站，不会带上cookie；
• 能够观察页面的获取情况，包括对方服务器如何设置cookie在本地。
  

2、network功能

• Perserve log：默认情况下，页面发生跳转之后，之前的请求url地址等信息都会消失，勾选perserve log后之前的请求都会被保留；
• filter过滤：在url地址很多的时候，可以在filter中输入部分url地址，对所有的url地址起到一定的过滤效果；
• 观察特定种类的请求：默认是选择的all，即会观察到所有种类的请求，
  很多时候处于自己的目的可以选择all右边的其他选项，比如常见的选项：
  • XHR:大部分情况表示ajax请求
  • JS:js请求
  • CSS:css请求

3、登录接口

（1）寻找from表单action的url地址
用户名的input标签中，name的值作为键，用户名作为值，密码的input标签中，name的值作为键，密码作为值即可

（2）通过抓包寻找登录的url地址
抓包可以发现，在这个url地址和请求体中均有参数，比如uniqueTimestamp和rkey以及加密之后的password

再通过手机端进行验证

4、解析JavaScript代码

（1）确定js的位置
①点击按钮，然后点击Event Listener，部分网站可以找到绑定的事件，对应的，只需要点击即可跳转到js的位置

②通过search all file 来搜索
部分网站的按钮可能并没有绑定js事件监听，那么这个时候可以通过搜索请求中的关键字来找到js的位置，比如livecell

（2）观察js的执行过程
①添加断点的方式：找到js的位置之后，通过观察js的位置，找到js具体在如何执行

• 在左边行号点击即可添加，对应的右边BreakPoints中会出现现有的所有断点
• 添加断点之后继续点击登录，每次程序在断点位置都会停止，通过如果该行有变量产生，都会把变量的结果展示在Scoope中
• 在上图的右上角有1，2，3三个功能，分别表示：
  • 1：继续执行到下一个断点
  • 2：进入调用的函数中
  • 3：从调用的函数中跳出来

②js2py的使用

import js2py
# 创建js执行环境
context = js2py.EvalJs
context.execute(js文件)