这是 Java 爬虫系列文章的第一篇,第一篇是关于 Java 爬虫入门内容,在该篇中我们以采集开源情报网站中的ip数据为例,需要提取的内容如下图所示:Statistics | AbuseIPDB
我们需要提取图中圈出来的内容及其对应的链接,在提取的过程中,我们会使用两种方式来提取,一种是 Jsoup 的方式,另一种是 httpclient + 正则表达式的方式,这也是 Java 网络爬虫常用的两种方式,你不了解这两种方式没关系,后面会有相应的使用手册。在正式编写提取程序之前,我先交代一下 Java 爬虫系列博文的环境,该系列博文所有的 demo 都是使用 SpringBoot 搭建的,不管你使用哪种环境,只需要正确的导入相应的包即可。
Jsoup 方式提取信息
我们先来使用 Jsoup 的方式提取新闻信息,如果你还不知道 Jsoup ,请参考 jsoup: Java HTML parser, built for HTML editing, cleaning, scraping, and XSS safety