![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
尚凯辉的博客
坚持终身学习!
展开
-
爬虫实战-使用Webmagic爬取51job的职位信息
案例说明使用SpringBoot+Mybatis plus+Webmagic爬取51job的职位信息,并保存到mysql数据库.创建工程引入maven依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://ww...原创 2020-03-23 14:16:39 · 684 阅读 · 0 评论 -
WebMagic介绍
文章目录WebMagic是什么?架构介绍WebMagic的四个组件DownloaderPageProcessorSchedulerPipeline用于数据流转的对象#RequestRequestPageResultItems如何使用引入pom依赖demo案例实现WebMagicAPI介绍实现PageProcessor接口抽取元素SelectableAPI抽取元素API获取结果API获取链接使用Pi...原创 2020-03-22 19:35:55 · 2176 阅读 · 2 评论 -
Jsoup介绍
文章目录jsoup是什么jsoup的作用jsoup如何使用使用dom方式遍历文档从元素中获取数据使用选择器语法查找元素Selector选择器概述Selector选择器组合使用jsoup是什么jsoup 是一款Java的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。jsoup的作用...原创 2020-03-22 18:48:38 · 616 阅读 · 0 评论