爬虫作业时寻找post的地址和js分析

1、寻找post的地址

　　1.1 使用chrome抓包工具

　　　　进入`https://www.renren.com`

　　　　检查网页源代码

　　　　

 　　　　定位到form标签下

　　　　(1)在form表单中寻找action对应的url地址，注意：不是所有的网站的action都有url地址，有的对应的是js

　　　　(2)post的数据是input标签中name属性的值作为键，真正的用户名或密码作为值的字典，post的url地址就是action对应的url地址(有的时候是，有的时候不是，需要注意)。

　　　　(3)当form表单的action没有url地址，这时候需要用Network进行抓包获取真正的post的url地址

　　　　　　1>输入用户名和密码(可以输入错误的)到表单中，抓取发送pose的url

　　　　　　　　　记住要勾选住Preserve log这样能够留下所有的请求，包括上一次的数据

　　　　　　　　　　1>>当输入错误的数据登录时，浏览器回向登录地址发送请求，这时通过抓包，可以拿到真正的post的url地址

 　　　　　　　　　　2>>在抓取到的数据中，对比是哪个网址接受的formdata数据，则该url为目标url

　　　　　　　　　　3>>找到url后，需要分析formdata的参数组成，通过多次的错误请求，对比参数变化

2、人人网案例分析(网页版)

　　　如果取模拟操作一些网站，首先可以尝试去获取一些相关参数，当相关参数由js动态生成，且url请求中也存在这些相关参数，可尝试取抓取网页版。

　　1.进入人人网

　　　　`http://www.renren.com/SysHome.do`

　　2.输入错误的账号和密码(记住勾选住Preserve log)

　　　　请求至少两次，观察生成的相同url请求

　　　　(1)相同页面为

　　　　　　　　

 　　　　(2)分析相同页面的url

　　　　　　第一个的url为：`http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=202044220269`

　　　　　　第二个的url为：`http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=202044228203`

　　　　　　uniqueTimestamp时间戳在变化，待分析

　　　　(3)分析相同url请求的参数

　　　　　　　第一个的FormData

　　　　　　　　

 　　　　　　第二个的FormData

　　　　　　　　

　　　　　　第三个FormData

　　　　　　　　 

　　　　　　email：三个都没有变化

　　　　　　icode：验证码，未输入，所以无

　　　　　　origURL：请求的url，未变，非相关参数

　　　　　　domain：请求的域名，未变，非相关参数

　　　　　　key_id：未知，但是都相同，非相关参数

　　　　　　password：输入的密码都是123，但是生成的加密密码都一样，属于非动态加密的方式

　　　　　　rkey：未变，属性未知，待分析

　　　　(3)url的时间戳uniqueTimestamp分析

　　　　　　　输入`ctrl+shift+F`找到全局搜索，输入uniqueTimestamp，寻找相关内容

　　　　　　　

 　　　　　　　　uniqueTimestamp动态生成，由具体值组成。

　　　　　　　　至于怎么获得，需要懂一些js语法。

　　　　　　　　获取存在一定难度，我们可以看看手机版，是否有这些参数。

　　　　(4)FormData的参数分析

　　　　　　<1>password加密分析

　　　　　　　　<<1>>输入`ctrl+shift+F`找到全局搜索，输入password，寻找相关js

　　　　　　　　<<2>>那么多js，如何定位？我们的干什么？这就是目的，通过目的，拟化关键字，在搜索的匹配结果中，寻找待login字样的js

　　　　　　　　　　

 　　　　　　　　　　

 　　　　　　　　<<3>>也可以通过在Sources中查找，Sources存放有服务器返回的所有文件

　　　　　　　　　　　　我们的目的是找到在登录页面`https://www.renren.com/SysHome.do`中的加密密码的js算法，所有在该网页域名文件夹下找到相关内容。比如login.js。

　　　　　　　　　　　　

 　　　　　　　　<<4>>找到加密password的js文件后，便可以逆向分析出加密的方法，变能够用python实现算法加密，得到加密的password值。

 　　　　　　<2>rkey的来源

　　　　　　　　<<1>>输入`ctrl+shift+F`找到全局搜索，输入password，寻找相关文件

　　　　　　　　　　　

 　　　　　　　　<<2>>分析login.js文件

　　　　　　　　　　输入`ctrl+F`进行文件内搜索，

　　　　　　　　　　

 　　　　　　　　　　找到rkey，通过分析发现rkey是属于n的属性，n又是有e提取出来的,e通过`url: "http://login.renren.com/ajax/getEncryptKey"`获取

　　　　　　　　　　在Network中通过抓包，找到

　　　　　　　　　　

　　　　　　　　　　发现它返回一个json文件

　　　　　　　　　　

 　　　　　　　　　　这个json文件中有对应的rkey值，然后我们对比FormData中的rkey值，发现是相等的(因为我抓取的文件多次刷新过，所有会不相同)

　　　　　　　　　　通过请求这个地址，我们便可以得到这个rkey值。

3、人人网案例分析(手机版)

　　1.请求手机版

　　　　

 　　　　可以发现，只返回两个数据，一个是rkey，用于获取rkey值，还有一个是clog，用于发送post请求登录。

　　　　数据相比网页版会清爽很多。

　　2.FormData分析

　　　　相关参数只有password和rKey

　　　　rKey可以请求：`http://activity.renren.com/livecell/rKey`网址获得，无非是在请求之前多实现一步，而不用考虑其如何生成的。

　　　　2.1 password分析

　　　　　　(1)点击Elements，通过元素选择器选择“登录”，打开右侧的Event Listeners，勾选Ancestors all和Framework listeners，可以发现

　　　　　　　　

　　　　　　　　click下对应的监听到的文件，即为相应的js文件，点击进入　，然后格式化查看(坐下叫有个{}，点击即可格式化查看)

　　　　　　　　找到文件中有password处理的内容

　　　　　　　　

　　　　　　　　可以看到password被处理的过程，通过python代码复现，来得到加密值。

　　　　2.2 Console的使用

　　　　　　将“ $(".password").value”复制到Console中

　　　　　　

 　　　　　　可以发现，获取到的是输入的密码的值

　　　　　　Console可以验证js中的代码，当看不懂时，可以粘贴到里面来进行验证

　　　　2.3 js的调试

　　　　　　在行号中可以通过点击添加断点

　　　　　　

 　　　　　　添加完断点后，点击登录，既可进入调试状态，点击下一步按钮，程序运行，断点对应的部分，右边状态栏会高亮。

　　　　　　Scope下的Local下相应变化的值会呈现出来

　　　　　　鼠标移动到相应的函数下，会弹出一个对话框，是该函数所在的js文件。

4、总结

　　4.1 抓包，寻找登录的url地址

　　　　(1)勾选Preserve log按钮，防止页面跳转找不到url

　　　　(2)寻找post数据，确定参数

　　　　　　<1>参数不会变，直接用，比如密码不是动态加密的时候

　　　　　　<2>参数会变

　　　　　　　　<<1>>参数在当前的响应中

　　　　　　　　<<2>>通过js生成

　　4.2 定位到想要的js

　　　　(1)选择会出发js事件的按钮，点击event listener，找到js的位置

　　　　(2)通过chrome中的search all file来搜索url中关键字

　　　　(3)添加断点的方式来查看js的操作，通过python来进行同样的操作。