EasyCrawler-爬取某岛国的病例统计网

背景

深圳老哥需求又来了，这次直接就扔过来一个网站：https://caloo.jp/achievements/
两张图片：


然后，秒懂了，就是要爬取首页的分类以及各种分类下的病的数据统计。简单，搞起！

初版效果图

前两列为首页爬取出来的分类和病名，后面皆为点进去的详情页面信息，包括有：名字，描述，手术案列数，非手术案例数，合计等。

构思与实现

1. EasyCrawler并没有提供一个页面爬几条数据，再去另一个页面爬几条数据的方法，所以我们必须得分开两次进行爬取。
2. 首先我们得用EasyCrawler爬取详细病例信息，包括字段应该如下：

3. 爬取完详细后，再去单独爬取首页，获取分类以及名称，再用url与详细匹对（为啥不用名字匹对？看一下效果图你就会发现，明细里面的标题不一定是首页名称，但是url是不会有错，因为我们是从url进入明细页面的），形成初版效果图。

初步构思完了，下面开始展现真正的技术了
首先，我们得对EasyCrawler里面的get方法进行一个小调整

设置线程为单线程，因为岛国的网站比较LJ，如果开启了多线程的话，会报503（服务器过载）的。

（这一步可有可无）然后，在visitContent方法的最后加入url判断如果url已经写进了数据库了就不要再写了，并对url字段建一个唯一索引，这样好方便我们后面的匹对。

最后，根据之前教的，利用CSS选择器去爬取对应的数据即可。
参数如下：

{
   
    "depth":"2",
    "exportKey":"",
    "page":"https://caloo.jp/achievements/"<