背景
前文说到我正开发一个全民爬虫的网站,然而这一举措被我一深圳老哥知道了,提了个需求给我,让我去爬取某网站的数据,然后我发现该网站数据不是前端渲染的,这样的话,我之前的应用就毫无用武之地了。接着,我打算参照Webcollector的POST Demo重新再写一套方法,结果。。。。。。不堪入目(搞不掂,而且Webcollector框架目前我理解不了)。杜某曰:“打不赢就加入。”,然后我就发现WebMagic这个活跃度更高的框架。
WebMagic基础
没错,这个框架仅仅只是别人业余开发的一个项目而已,比较通俗易懂,而且最重要的是:
作者想法十分的好!!!
这里就不多说了,直接贴手册(居然有手册,手动开心): http://webmagic.io/docs/zh/.
实战
手册看完了,肯定是实战了,我们今天不用它手册里面的Demo了,我们还是爬个豆瓣影院试试。
既然是POST请求,那么肯定要确定几个问题:什么地址?什么参数?请求报文头是否带有特殊参数?
这些东西,我们直接请求一下,按F12就知道了,写出的代码如下:
Request request = new Request("https://movie.douban.com/j/search_subjects");
request.setMethod(HttpConstant.Method.POST);
Map<String, Object> map = new HashMap<>();
map.put("type", "movie");
map.put("