python项目之 抓取动态网页 抓取路由器客户
前身
前面有一片文章写得是爬取路由器的客户,使用模拟浏览器登录的方式得到的。
python项目之 路由器抓取器
地址为:http://blog.csdn.net/lyffly2011/article/details/50485398
改进
在学习完前端设计的知识后,意识到可以通过HTTP请求,直接得到动态的数据。
实现思路
- 打开浏览器调试功能,F12
- 分析浏览器数据流量的XHR,得到请求网址和数据
- 模拟请求,得到结果,进行解析
其余和之前类似。
注意点为:cookie,http post中的payload,传送字符串的换行。
具体代码为:
# coding : utf-8
####################################################
# coding by 刘云飞