使用SpringBoot+Jsoup做java简单’爬虫’
Jsoup简介
Jsoup是一款java的Html解析器,可以直接解析Html。针对网页提供了相关Api,可以通过Dom、Css、Jquery等属性来操作和解析网页。
主要类介绍:
- Jsoup 类提供了连接,清理和解析HTML文档的方法
- Document 获取HTML文档
- Element 获取、操作HTML节点
实战(爬京东网页数据)
1.创建Maven项目
2.导入pom依赖
根据自己需求减少或增加依赖
<dependencies>
<!--jsoup相关依赖-->
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.10.2</version>
</dependency>
<!--springbootweb包-->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<!--springboot测试包-->