用TOPFISHER采集用__doPostBack()分页的网站数据

用ASP.NET开发的网站经常会用JAVASCRIPT脚本,以__doPostBack()函数来分页,这样就不能直接看到目标网页的参数和地址。

我们可以通过HttpWatch、ieHTTPHeaders、等工具来分析 HTTP 头,从而获取POST数据,找出规律,看看那个是分页参数,一般类似这样的值“__EVENTTARGET=DataGrid3%3A_ctl24% 3A_ctl1”这部分里就有,最后1 就是页号。只是例子。

然后自己写程序POST方式访问此页面,并把这些数据完整的当做POST数据传给这个页面,同时修改分页参数,就可以获取全部网页的数据了。 大概就这思路,你在琢磨琢磨。



YulinCMS(雨林内容管理系统) 是采用微软的.net技术进行架构、功能强大的网站管理软件。用户不需要学习复杂的建站技术,不需要学习太复杂的HTML语言,你就能够利用YulinCMS构建出一个风格统一功能强大的专业网站,大大加快网站的建设周期。


[原创]用TOPFISHER采集用__doPostBack()分页的网站数据

用ASP.NET开发的网站经常会用JAVASCRIPT脚本,以__doPostBack
   ()函数来分页,这样就不能直接看到目标网页的参数和地址。下面我来教大家用TOPFISHER页面辅助分析器,结合TOPFISHER来采集__doPostBack
   ()式分页的页面。

以http://www.ynnw.gov.cn/scxx/schq.aspx这个页面为例:

1.先用TOPFISHER页面辅助分析器打开http://www.ynnw.gov.cn/scxx/schq.aspx;

2.在分析器内的WEB窗口,点击分页中的任意一页;

3.这时候可以看到POST数据窗口中出现了一大堆POST数据;(这些数据就是schq.aspx接收的POST参数,这里我们只需要关注参数中的“__EVENTTARGET=DataGrid3%3A_ctl24%3A_ctl1”这部分,其中的红色部分,其实就是页面的页数)

4.在TOPFISHER脚本中,用PostUrl()函数,来访问这个页面,并把这些数据完整的当做POST数据传给这个页面,然后再用FOR语句,来修改页面参数,就可以完成全部采集了。


http://www.topfisher.com/doc/TPAssistant.rar




c#抓取浏览器网页代码数据(winform)

http://www.cnblogs.com/fhmsha/archive/2007/07/18/822034.html

转载于:https://www.cnblogs.com/smallfa/archive/2008/01/18/1044476.html

TopFisher是新一代的WEB数据采集系统,只要是有网址的页面,TopFisher都能从该页面中精确的采集您想要的数据,并按照用户指定的表结构把数据保存到本地或远程的数据库中,数据可以直接被采集为文本/数字/日期等各种数据类型,在数据采集期间所有的工作都是由TopFisher来完成的,用户不需要做任何的工作。 一、全新的脚本解析网页架构的方式:传统的数据采集软件都是通过配置复杂的属性对话框来解释目标网页框架的,这种方式的缺点是不够灵活,稍微遇到复杂或结构特别一点的网站就无能为力了。而TopFisher是通过脚本代码的方式来解析网页架构的,因为不论目标网页有多复杂,都可以通过TopFisher提供的IF,FOR语句和丰富的函数来完成网页架构的分析。  二、更加适合于“数字/数据”的采集,而不局限于新闻文字采集:通过TopFisher提供的数字变量和相关函数,TopFisher能够轻松的把网页中的数字/数据,或日期时间精确的剥离出来,让您的TopFisher不再是简单的新闻采集器,而是一个功能全面的数据捕手。  三、真正做到了无需人工值守的定期循环采集:TopFisher解释器运行极其稳定,经大量测试,连续运行数周或数月都不会出现问题。并且在循环采集数据的空闲期间占用的计算机资源微乎其微,保证服务器中的其它程序或系统能够正常快速的运行。 四、支持其它由高级语言自制的DLL文件调用:TOPFISHER在功能上通过与其它高级语言的联动而得到极大的扩展,如果有部分功能在TOPFISHER上无法实现或很难实现,那么用户可以通过自己编写DLL函数来用其它高级语言完成TOPFISHER自己不能完成任务。 TopFisher对我来说有什么价值? 在TopFisher诞生之前,互联网中的所有的信息和数据都是“分散”的,TopFisher最有价值的地方就是能够把这些分散的数据“聚集”起来,并能够24小时的实时更新这些“聚集”的数据。他使得一个普通的网站站长自己搭建一个强大的行业搜索引擎不再是一个梦想,当然您也可以把这些数据和信息用于价格PK,统计等其它业务上。 总之,TopFisher提供了把“分散”的信息“聚集”起来的可能,这也许意味着TopFisher的出现为互联网市场开辟了一片新的金矿。您将会怎样利用这些“聚集”的信息呢?现在就好好的想一想吧!一个好的点子可是在互联网行业中迅速成功的关键!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值