火车头POST方式获得网址

2009版本起，火车采集器加强了post采集网址的功能，这是一个非常好的消息，我们可以提交自定义的数据并获得想要的结果。比如我们使用搜索，查询一个关键字，返回一些结果。我们再采集返回的这些内容网址，再去采它。

我们以程序自带的51job的网址采集说明一下这个功能的使用．我们在获取相关职位时，是设定好搜索，然后再提交，就可以获得我们需要的内容了．现在，我们在提交时用抓包工具抓取一下程序提交的数据，发布是向这个网页提交了数据.

这时，我们需要设置提交的网址为如图设置，采深度为1,然后在填写提交的数据．我们可以发现，第一次提交的数据是这样的.

postchannel=0000&stype=2&jobarea=0000&district=&funtype_big=0000&funtype=0000&industrytype=00&issuedate=9&keywordtype=2&dis_keyword=%BC%C6%CB%E3%BB%FA&keyword=%BC%C6%CB%E3%BB%FA&workyear=99&providesalary=99&cotype=99&degreefrom=99&jobterm=99&ord_field=0&list_type=1&last_list_type=1&curr_page=1

第二页的最后一项是2,这样的话，我们就只需要在提交时更改最后一个参数就可以获得网址了．填写时指定页数的范围就可以了．

下边还要介绍一个功能，有朋友会用到的.看上图那个大图的右下角，有一个随机值的获取．这个功能是用来处理这样的页面，比如你post了一个参数给一个页面，获得一个网址列表页，然后您获得第二页时需将第一个列表页上的一些值传过去，这个随机值就是用来获得上一个页面的一些参数的．下边我们举个例子．看图，兴趣的朋友自己研究下.

测试了几页，看结果．

规则下载

转载于:https://www.cnblogs.com/junzhongxu/archive/2009/04/30/1446723.html