java爬取数据_Java一键爬取数据并保存到Excel

码农公社  210.net.cn  210= 1024  10月24日一个重要的节日--码农(程序员)节

将爬取到的数据保存为一个Excel，官方没有给出导Excel 的教程 这里发一个导为Excel的教程  导包 这里做的是Gradle配置。

//爬虫包

compile group: 'us.codecraft', name: 'webmagic-core', version: '0.7.3'

compile group: 'us.codecraft', name: 'webmagic-extension', version: '0.7.3'

//poi包 office操作

compile group: 'org.apache.poi', name: 'poi', version: '4.0.1'

maven的话也发一个吧

org.apache.poi

poi

4.0.1

us.codecraft

webmagic-core

0.7.3

us.codecraft

webmagic-extension

0.7.3

实现原理

这里我实现了Pipeline接口这个接口是保存结果的

从这个接口里进行保存操作

这里的save()命令加了个synchronized的目的是为了防止多线程操作的时候出现线程安全的问题

实现代码