初识WebMagic之爬豆瓣影院

背景

前文说到我正开发一个全民爬虫的网站，然而这一举措被我一深圳老哥知道了，提了个需求给我，让我去爬取某网站的数据，然后我发现该网站数据不是前端渲染的，这样的话，我之前的应用就毫无用武之地了。接着，我打算参照Webcollector的POST Demo重新再写一套方法，结果。。。。。。不堪入目（搞不掂，而且Webcollector框架目前我理解不了）。杜某曰：“打不赢就加入。”，然后我就发现WebMagic这个活跃度更高的框架。

WebMagic基础

没错，这个框架仅仅只是别人业余开发的一个项目而已，比较通俗易懂，而且最重要的是：

作者想法十分的好！！！

这里就不多说了，直接贴手册（居然有手册，手动开心）： http://webmagic.io/docs/zh/.

实战

手册看完了，肯定是实战了，我们今天不用它手册里面的Demo了，我们还是爬个豆瓣影院试试。
既然是POST请求，那么肯定要确定几个问题：什么地址？什么参数？请求报文头是否带有特殊参数？
这些东西，我们直接请求一下，按F12就知道了，写出的代码如下：

      Request request = new Request("https://movie.douban.com/j/search_subjects");
      request.setMethod(HttpConstant.Method.POST);
      Map<String, Object> map = new HashMap<>();
      map.put("type", "movie");
      map.put("