Java定时爬取数据

最新推荐文章于 2024-07-16 16:58:09 发布

程序○人生

最新推荐文章于 2024-07-16 16:58:09 发布

阅读量1.6k

点赞数 2

本文链接：https://blog.csdn.net/qq_37031675/article/details/86492689

版权

本文介绍了一位新入职员工如何使用Java进行网页爬虫开发，包括配置文件设置、理解网页结构、利用jsoup解析网页，并实现定时任务自动抓取学校新闻并存储到数据库中。

摘要由CSDN通过智能技术生成

刚刚入职一家教育机构，被要求爬取一些学校的新闻到数据库来丰富公司对外系统的页面丰富性，接下来是一些简单的教程。

一.配置文件

applicationContent如下

<?xml version="1.0" encoding="UTF-8"?>

<bean id="tellingTheTimeService" class="service.impl.TellingTheTimeServiceImpl"/>

<!-- 配置一个Job -->
<bean id="tellTheTimeJob" class="org.springframework.scheduling.quartz.JobDetailBean">
	<property name="jobClass" value="jobs.TellingTheTimeJob"/>
	<property name="jobDataAsMap">
		<map>
			<entry key="tellingTheTimeService" value-ref="tellingTheTimeService"></entry>
		</map>
	</property>
</bean>

<!-- 简单的触发器 -->
<bean id="simpleTellTheTimeTrigger" class="org.springframework.scheduling.quartz.SimpleTriggerBean">
	<property name="jobDetail">
		<ref bean="tellTheTimeJob" />
	</property>
	<!-- 以毫秒为单位，启动后一分钟触发 -->
	<property name="startDelay">
		<value>1000</value>
	</property>
	<!-- 每间隔一分钟触发一次 -->
	<property name="repeatInterval">
		<value>600000</value>
	</property>
</bean>

<!-- 复杂的触发器 -->
<bean id="complexTellTheTimeTrigger" class="org.springframework.scheduling.quartz.CronTriggerBean">
	<property name="jobDetail">
		<ref bean="tellTheTimeJob"/>
	</property>
	<property name="cronExpression">
		<!-- 这里是重点，可以自定义表达式实现定时触发。以下含义是每分钟触发一次 -->
		<value>*/5 * * * * ?</value>
	</property>
</bean>

<!-- Spring触发工厂 -->
<bean class="org.springframework.scheduling.quartz.SchedulerFactoryBean">
	<property name="triggers">
		<list>
			<!--<ref bean="complexTellTheTimeTrigger"/>
			--><ref bean="simpleTellTheTimeTrigger"/>
			<!-- ....下面可以继续添加其他触发器 -->
		</list>
	</property>
</bean>