Java网页爬虫:Spring Boot通过webmagic实现网页爬虫
一、需求
因为业务需求,需要实现新闻资讯功能。初步方案通过第三方提供的服务接口来实现此功能。由于谈判失败,因此决定自开发一套爬虫接口。因此通过查询相关文档,决定采用webmagic开源框架实现自己的爬虫功能。
二、实施过程
1、引入依赖
在pom文件中添加依赖:
<!-- 爬虫 -->
<dependency>
<groupId>us.codecr...
原创
2019-01-03 17:22:18 ·
1359 阅读 ·
1 评论