使用webmagic爬取小说

private Site site = Site.me().setRetryTimes(3).setSleepTime(100);
public void process(Page page) {
System.err.println(page.getUrl());
if(!page.getUrl().regex("http://www.biquge.com.tw/16_16263/[0-9]{7}.html").match()){
            //加入满足条件的链接
System.err.println("1"+page.getHtml().xpath("//*[@id=\"wrapper\"]/div/div/dl/dd/a/@href").all());
List<String> urls =page.getHtml().xpath("//*[@id=\"wrapper\"]/div/div/dl/dd/a/@href").all();
for(String url : urls){
url="http://www.biquge.com.tw"+url;
}
            page.addTargetRequests(urls);
        }else{       System.err.println("2");                      
            System.out.println("抓取的内容："+
                    page.getHtml().xpath("//*[@id=\"content\"]/text()").get()
                    );
        }

}


public Site getSite() {
return site;
}


public static void main(String[] args) {
//Spider.create(new testProcesser()).addUrl("https://www.cnblogs.com/").thread(5).run();
Spider.create(new testProcesser()).addUrl("http://www.biquge.com.tw/16_16263/").thread(5).run();
}