Java爬虫详解

这是 Java 爬虫系列文章的第一篇，第一篇是关于 Java 爬虫入门内容，在该篇中我们以采集开源情报网站中的ip数据为例，需要提取的内容如下图所示：Statistics | AbuseIPDB

     我们需要提取图中圈出来的内容及其对应的链接，在提取的过程中，我们会使用两种方式来提取，一种是 Jsoup 的方式，另一种是 httpclient + 正则表达式的方式，这也是 Java 网络爬虫常用的两种方式，你不了解这两种方式没关系，后面会有相应的使用手册。在正式编写提取程序之前，我先交代一下 Java 爬虫系列博文的环境，该系列博文所有的 demo 都是使用 SpringBoot 搭建的，不管你使用哪种环境，只需要正确的导入相应的包即可。

 

Jsoup 方式提取信息

我们先来使用 Jsoup 的方式提取新闻信息，如果你还不知道 Jsoup ，请参考 jsoup: Java HTML parser, built for HTML editing, cleaning, scraping, and XSS safety

先建立一个 S