爬虫如何抓取到asp.net中-dopostback获取新页面的数据

最新推荐文章于 2019-12-27 00:19:43 发布

sclxf

最新推荐文章于 2019-12-27 00:19:43 发布

阅读量3.6k

点赞数

文章标签： asp.net javascript 搜索引擎 session function ajax

在Web 2.0时代，很多网站采用AJAX技术实现，带来较好用户体验的代价是，Javascript得到的内容搜索引擎无法爬到，Google也正在研究此种技术。本文讨论Asp.Net程序生成的链接，爬虫如何能爬进去的问题。
问题：某网站出现的数据列表分页显示，而上一页和下一页都是用__doPostBack提交到后台处理，如 javascript:__doPostBack(ucInfoListMore$gridInfoList$_ctl21$_ctl1,)，我们根本得不到他绝对链接的地址，而且每一页得下一页传入的参数是一样的。
分析：我们首先理解__doPostBack做了哪些事情。
function __doPostBack(eventTarget, eventArgument) {
var theform;
if (window.navigator.appName.toLowerCase().indexOf("netscape") > -1) {
theform = document.forms["Form1"];//注意此处的FormID
} else {
theform = document.Form1;//还有此处
}
theform.__EVENTTARGET.value = eventTarget.split("$").join(":");
theform.__EVENTARGUMENT.value = eventArgument;
theform.submit();
}
明白了吧，问题就在.__EVENTTARGET（后台处理的事件）和__EVENTARGUMENT上。这样就简单了，我们可以给这两个参数赋值，然后向后台发送Post就可以了。那么如何指定某一页呢，Asp.Net在后台是以Session方式保存当前页信息的，我们在Post得时候能够保证实在同一个会话中进行的就可以了。