SpringBoot项目通过WebCollector + @Scheduled实现定时爬取网站任务

最新推荐文章于 2022-12-29 11:51:40 发布
最新推荐文章于 2022-12-29 11:51:40 发布
阅读量846 收藏 1
点赞数
分类专栏： 实习的一年 文章标签： java 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_49810363/article/details/108631942
版权

SpringBoot项目通过WebCollector + @Scheduled实现定时爬取网站任务

一、编写网站爬取程序

1、继承BreadthCrawler类

继承BreadthCrawler类

2、根据自己的需求写构造方法

如：我写的这个无参构造方法，其中super的第一个参数是爬取过程中产生的文件夹路径（文件夹中的文件主要是维护爬取过程中的URL等信息），第二个参数是指是否根据设置的正则表达式自动探取新的URL。添加正则表达式的方法addRegex(String urlRegex)，参数为一个 url 正则表达式，可以用于过滤不必抓取的链接，如 .js .jpg .css … 等，也可用于抓取指定某些规则的链接，如：

addRegex("https://www.bilibili.com/video/BV1Kt411g7Sq?p=/[0-9]{2}[^/]");

	public ProcurementCrawler() {
        super("./crawPath", false);
        /**设置爬取的网站，其中后面的参数指定该URL的类型
        *如：爬取一个网站的所有公告，最开始爬取的便是公告列表的第一页
        *第一页中有公告详情URL，就需要将详情URL添加到爬取任务中
        *就可以通过后面的那个字符串参数来分辨爬取的URL是公告列表还是公告详情页
        */
        addSeed(send + noticePage,"noticeList");

        //设置线程数
        setThreads(2);
    }

3、覆写visit方法

visit中有两个参数（Page，CrawlDatums）
Page是爬取过程中，内存中保存网页爬取信息的一个容器，Page只在内存中存 放，用于保存一些网页信息，方便用户进行自定义网页解析之类的操作
CrawlDatums是存放爬取任务的集合，底层实现是LinkedList

	@Override
    public void visit(Page page, CrawlDatums crawlDatums) {
		//区分爬取的URL是公告列表还是公告详情页
        if(page.matchType("noticeList")){
        	/**
        	*获取公告列表中的公告详情页的URL，其中select方法中的字符串代表的是
        	*代码所示的意思是抓取class为info的div下的ul的li的a标签
        	*/
            Elements elements = page.select("div.info>ul>li>a");
            if(elements != null){
                for(Element element : elements){
                    String href = element.attributes().get("href");
                    	//将详情页URL添加到crawlDatums中
                        crawlDatums.add(href,"noticeDetails");
                }
                //当本页还有数据就将下一页列表的URL添加进去
                crawlDatums.add(send + ++noticePage,"noticeList");
            }
        }else if(page.matchType("noticeDetails")) {
        	//如果是详情页就将数据存入数据库中
            try {
                Notice notice = new Notice();
                notice.setId(UUID.randomUUID().toString());
                
                //获取公告发布时间，若公告时间比上次爬取的时间早，return结束该URL爬取
                SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm");
                String uploadDate = page.select("div.cont-info>p").first().text().split("：")[1];
                if(lastDate != null) {
                    if (sdf.parse(uploadDate).before(lastDate)) {
                        return;
                    }
                }
                notice.setUploadDate(sdf.parse(uploadDate));

                String title = page.select("div.cont-info>h1").first().text();
                notice.setTitle(title);

                String url = page.url();
                notice.setUrl(url);

                String content = page.select("div.cont-info>div.tableBox").first().text();
                notice.setContent(content);
                noticeCrawlerDao.insert(notice);
            } catch (ParseException e) {
                log.error("", e);
            }
        }
    }

4、写main方法测试爬取程序

//这里的异常其实需要处理，我是为了省事
	public static void main(String[] args) throws Exception {
        ProcurementCrawler crawler = new ProcurementCrawler();
        /**
        *lastDate是我在爬取程序中定义的一个属性并写了set方法
        *protected static Date lastDate = null;
        */
        crawler.setLastDate(null);
        /**
        *20代表爬取深度
        *1爬取深度代表爬取完第一个爬取URL本身和你添加在CrawlDatums的爬取任务
        *下一个爬取深度就是爬取你上一深度中添加在CrawlDatums中的URL
        *类似树的层次遍历
        */
        crawler.start(20);
    }

二、编写定时任务

可以写在@Service或@Component注解的类中

1、在类上添加@EnableScheduling注解

这个注解主要作用是向SchedulingConfiguration注册

2、定时任务启动爬取程序

//在每天凌晨两点钟定时爬取公告数据
	@Scheduled(cron = "0 0 2 * * ?")
    public void noticeCrawler() throws ParseException {
        SimpleDateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
        //从数据库中查上次爬取的时间
        String timeStr = dao.getLastDate();
        Date lastDate = dateFormat.parse(timeStr.substring(0,18) + "1");
        crawler.setLastDate(lastDate);
        try {
            crawler.start(30);
        } catch (Exception e) {
            log.error("",e);
        }
    }

3、@Scheduled定时任务时间设置

主要讲述3种常用的时间设置方式

（1）cron

一个cron表达式有至少6个（也可能7个）由空格分隔的时间元素，项目中大多写在配置文件中，通过@Scheduled(cron="${key}")来获取
依次是：[秒] [分] [小时] [日] [月] [周] [年]（可省略年）
cron表达式
*表示所有值
?表示不指定值
，表示多值，如在秒上1，30表示1秒和30秒的时候都触发
-表示区间，如在时上10-12表示10、11、12都会触发
/表示递增，如在时上0/12表示晚上零点和中午十二点触发

（2）fixedDelay

例：@Scheduled(fixedDelay = 5000)
表示上一次执行完成后多久再次执行，单位是毫秒
每个两小时执行一次
@Scheduled(fixedDelay = 2 * 60 * 60 * 1000)

（3）fixedDelayString

与fixedDelay意思相同，只是使用字符串的形式，唯一不同的是支持占位符
如：@Scheduled(fixedDelayString="${time.cron}")

所以大多数使用（1）、（3）两种设置方式

总结

内容并不难主要是再visit方法的覆写上难
更多WebCollector教程链接

.~:， ,,/、％
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
WebCollector:WebCollector是基于Java的开源Web爬网程序框架。-开源
05-15
WebCollector是基于Java的开源Web爬网程序框架。它提供了一些用于爬网的简单界面，您可以在不到5分钟的时间内设置多线程Web爬网程序。 GitHub：https://github.com/CrawlScript/WebCollector演示：https://github.com/CrawlScript/WebCollector/blob/master/YahooCrawler.java
Java爬虫-WebCollector的通用式Web应用爬虫
a81579261的博客
10-18 474
Java爬虫-WebCollector的通用式Web应用爬虫 上文再续，我在为一个全民爬虫的理念前进着。最近，项目比较空闲，所以有时间向前迈进了，哈哈哈。 Web应用搭建 Web应用搭建无非就那些，首先你地选择整个页面的所以前端技术点，我这边选的是当下比较大众的，但是我却又不太熟悉的（为了学习更多的技术） HTML/CSS：HTML+Bootstrap4（Bootstrap，大学时用过，做了一个P...
WebCollector 简介与 快速入门
蚩尤后裔-汪茂雄
08-14 1万+
目录 WebCollerctor 简介 内核构架图 WebCollector 2.x 版本特性 快速入门 开发包获取 Maven 依赖 新建 Maven 项目 补全 Maven 约定 项目设置 pom. xml 引入 依赖 DemoAutoNewsCrawler 运行结果 WebCollerctor 简介 WebCollector 是一个无须配置、便于二次开发的 JAV...
WebCollector
qq_42847719的博客
12-29 1157
WebCollector也是一个基于Java的开源网络爬虫框架，其支持多线程、深度采集、URL维护及结构化数据抽取等。WebCollector项目的源码可以在GitHub上进行下载。相比于Crawler4j，WebCollector的可扩展性和适用性更强，如可以实现多代理的切换、断点采集和大规模数据采集。
java爬虫webcollector_JAVA爬虫框架：WebCollector
weixin_32821643的博客
02-13 680
webCollector使用了Nutch的爬取逻辑(分层广度遍历)，Crawler4j的的用户接口(覆盖visit方法，定义用户操作),以及一套自己的插件机制，设计了一套爬虫内核。WebCollector内核构架图：CrawlDB: 任务数据库，爬虫的爬取任务(类似URL列表)是存放在CrawlDB中的，CrawlDB根据DbUpdater和Generator所选插件不同，可以有多种形式，如文件、...
Java爬虫-WebCollector
Belial计算机视觉&机器视觉专栏
11-11 1854
爬虫简介： WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。 爬虫内核： WebCollector致力于维护一个稳定、可扩的爬虫内核，便于开发者进行灵活的二次开发。内核具有很强的扩展性，用户可以在内核基础上开发自己想要的爬虫。源码中集成了Jsoup，可进行精准的网页解析。 量级：
SpringBoot中使用@Scheduled注解创建定时任务的实现
08-19
SpringBoot中使用@Scheduled注解创建定时任务的实现是指在SpringBoot项目中使用@Scheduled注解来实现定时任务的方法。在SpringBoot项目中，使用@Scheduled注解可以轻松地实现定时任务，例如清理日志等。 ...
Spring boot如何通过@Scheduled实现定时任务及多线程配置
08-25
在本文中，我们将详细介绍如何使用 `@Scheduled` 注解来实现定时任务，并且探讨多线程配置的实现方式。 使用 `@Scheduled` 注解实现定时任务 `@Scheduled` 注解是 Spring Framework 提供的一种注解，用于标记需要...
springboot 定时任务@Scheduled实现解析
08-25
Spring Boot 定时任务 @Scheduled 实现解析 Spring Boot 框架提供了 @Scheduled 注解来实现定时任务，该注解...Spring Boot 中的定时任务通过使用 `@Scheduled` 注解实现，提供了多种执行方式，可以满足不同的需求。
SpringBoot执行定时任务@Scheduled的方法
08-18
Spring Boot 提供了对定时任务的支持，通过使用 @Scheduled 注解，可以实现定时任务的执行。本文将详细介绍 Spring Boot 中 @Scheduled 定时器的使用。 创建定时任务 要使用 @Scheduled 注解，首先需要在项目启动...
详解Spring Boot中使用@Scheduled创建定时任务
08-31
接下来，我们创建一个定时任务实现类，使用 @Scheduled 注解来定义需要定时执行的方法。 ```java @Component public class ScheduledTasks { private static final SimpleDateFormat sdf = new SimpleDateFormat(...
Java(9):浅谈WebCollector的数据抓取
得不到的永远是骚栋.
01-20 917
前言 作为Java世界中小白的我(瑟瑟发抖的状态),在网络数据抓取这一块简直是一无所知.天无绝人之路,这时候我们老大向我推荐一个很好用的爬虫框架WebCollector,WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架，它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。WebCollector-Hadoop是WebCollector的Hadoop版本，支持分布式爬取。WebCollector用起来个人赶脚还是非常的简单轻便的,这里就以一个初学者的身份简单分享一下Web..
python爬虫使用模块_10分钟教你Python爬虫（下）--爬虫的基本模块与简单的实战...
weixin_39731922的博客
11-21 168
本文来源于公众号【程序猿声】，作者向柯玮前言各位看客老爷们，新年好。小玮又来啦。这次给大家带来的是爬虫系列的第二课---爬虫的基本模块与简单的实战。说到爬虫的基本模块，不知道大家之前有没有了解过呢。如果你之前没有了解过，给小玮一个机会带您慢慢了解它，如果你之前了解过，也请给小玮一个机会帮助您再次巩固。下面让我来慢慢细说。准备在这节课上，我们会主要了解两个模块，requests和BeautifulS...
搭建springboot项目与Java爬虫抓取网页数据
热门推荐
1 Byte 的博客
03-14 2万+
这是jdk版本不一致问题导致的，所以需要做以下检查： 检查你的pom.xml首先检查你的模块JDK依赖。确保它是1.8； 到File —> Project Structure —> Project Settings —> Project 中调整你的JDK版本，并保持一致 将路径添加到存储的位置。1.8jdk1.8.0_45.jdk 应用更改 现在，去Structure ->Modules 将ModuleSDK更改为1.8 https://blog.csdn.net/shilian
爬虫之解决需要登录的网站
King 学吧|King Blog
02-17 1万+
爬虫之解决需要登录的网站 ????前言：平时爬取的网站大都不需要登录就可直接获取到想要的信息，但有时我们想要的信息，需要登录之后，才可以查看，又或者说，有些网站在不登录的状态下a不能查看全部信息，因此，我们需要携带用户数据进行登入爬取。文章中介绍了三种方法解决携带登入用户进行爬取网页信息。 第一种、使用Session 会话对象让你能够跨请求保持某些参数。它也会在同一个 Session 实例发出的所有请求之间保持 cookie。 import requests from fake_useragent im
WebCollector爬虫的各种参数配置（代理、断点等）
AJAXHu的专栏
10-03 665
BreadthCrawler是WebCollector最常用的爬取器之一，依赖文件系统进行爬取信息的存储。这里以BreadthCrawler为例，对WebCollector的爬取配置进行描述： import cn.edu.hfut.dmic.webcollector.crawler.BreadthCrawler; import cn.edu.hfut.dmic.webcollector.mod...
shell定时任务——每10秒访问一次网页/curl 定时访问多参数url的问题
风火纶回
03-16 1万+
想做个定时任务，可是crontab最小只能一分钟执行一次。 还有就是访问有参数的链接，访问出来的的不一样。 用crontab每分钟执行一次crontab.sh文件 crontab命令 -e : 执行文字编辑器来设定时程表 -r : 删除目前的时程表 -l : 列出目前的时程表 crontab执行命令crontab -e */1 * * * * /bin/sh /home/visionz/cro...
WebCollector 2.x入门教程——基本概念
AJAXHu的专栏
12-25 4388
WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。WebCollector-Hadoop是WebCollector的Hadoop版本，支持分布式爬取。
Java爬虫框架WebCollector学习
qq_27081015的博客
10-23 1578
webCollector简介： 1.是一个无须配置、便于二次开发的Java爬虫框架（内核），它提供精简的的 API，只需少量代码即可实现一个功能强大的爬虫。WebCollector-Hadoop 是 WebCollector 的 Hadoop 版本，支持分布式爬取。 2.自带了多线程和URL维护，用户在编写爬虫时无需考虑线程池、URL去重和断点爬取的问题。 3.WebCollector目...
springboot如何通过caffeine和@Cacheable实现定时刷新
最新发布
07-15
要 Caffeine 和 `@Cacheable` 注解实现定时刷新缓存，可以按照以下步骤进行操作： 1. 添加 Caffeine 依赖：在项目的 `pom.xml` 文件中添加 Caffeine 依赖。 ```xml <dependency> <groupId>com.github.ben-manes.caffeine</groupId> <artifactId>caffeine</artifactId> <version>2.9.0</version> </dependency> ``` 2. 创建缓存配置：在 Spring Boot 的配置类中创建一个缓存配置类，配置 Caffeine 缓存。 ```java import com.github.benmanes.caffeine.cache.Caffeine; import org.springframework.cache.CacheManager; import org.springframework.cache.annotation.EnableCaching; import org.springframework.cache.caffeine.CaffeineCacheManager; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import java.util.concurrent.TimeUnit; @Configuration @EnableCaching public class CacheConfig { @Bean public CacheManager cacheManager() { CaffeineCacheManager cacheManager = new CaffeineCacheManager("myCache"); cacheManager.setCaffeine(caffeineCacheBuilder()); return cacheManager; } Caffeine<Object, Object> caffeineCacheBuilder() { return Caffeine.newBuilder() .expireAfterWrite(1, TimeUnit.HOURS) // 缓存项写入后过期时间 .refreshAfterWrite(30, TimeUnit.MINUTES) // 缓存项刷新时间 .maximumSize(100) // 缓存最大大小 .weakKeys() // 弱引用键 .recordStats(); // 记录统计信息 } } ``` 3. 使用 `@Cacheable` 注解：在需要进行缓存的方法上使用 `@Cacheable` 注解，并指定缓存的名称。 ```java import org.springframework.cache.annotation.Cacheable; import org.springframework.stereotype.Service; @Service public class MyService { @Cacheable(cacheNames = "myCache") public String getData(String key) { // 从数据库或其他数据源获取数据 return "data"; } } ``` 4. 定时刷新缓存：使用 Spring 的定时任务功能，定时调用需要刷新缓存的方法。 ```java import org.springframework.beans.factory.annotation.Autowired; import org.springframework.cache.CacheManager; import org.springframework.scheduling.annotation.Scheduled; import org.springframework.stereotype.Component; @Component public class CacheScheduler { private final CacheManager cacheManager; private final MyService myService; @Autowired public CacheScheduler(CacheManager cacheManager, MyService myService) { this.cacheManager = cacheManager; this.myService = myService; } @Scheduled(fixedRate = 30 * 60 * 1000) // 每30分钟执行一次 public void refreshCache() { cacheManager.getCache("myCache").clear(); myService.getData("key"); // 触发缓存的重新加载 } } ``` 以上步骤将使用 Caffeine 缓存和 `@Cacheable` 注解实现缓存的定时刷新。在每次定时任务执行时，会清空缓存并重新加载数据。请根据自己的需求进行适当调整和配置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值