从头认识SpringBatch批处理框架
咩咩文
这个作者很懒,什么都没留下…
展开
-
Spring Boot 集成 批处理框架Spring batch
Spring Batch是一个轻量级的框架,完全面向Spring的批处理框架,用于企业级大量的数据读写处理系统。以POJO和Spring 框架为基础,包括日志记录/跟踪,事务管理、 作业处理统计工作重新启动、跳过、资源管理等功能。 业务方案:1、批处理定期提交。2、并行批处理:并行处理工作。3、企业消息驱动处理4、大规模的并行处理5、手动或是有计划的重启6、原创 2016-01-24 11:44:36 · 30579 阅读 · 4 评论 -
什么是批处理
现代互联网企业、金融行业、电信行业甚至传动行业通过OLTP(联机事务处理)的业务系统积累了海量的企业数据,需要企业应用能够在关键任务中进行批量处理操作业务逻辑。通常情况下,此类业务不需要人工参与就能够自动高效地进行复杂数据处理与分析。例如定期对大批量数据进行业务处理(如银行对账和利率的调整 、或跨数据库/系统的数据同步)或者是把从内部和外部系统中获取到的数据进行处理后集成到其他的系统中去,原创 2016-02-24 14:36:00 · 4926 阅读 · 0 评论 -
关于大数据之批处理SpringBatch
大数据时代,数据是现代企业最宝贵的核心资产,是企业运用科学管理、决策分析的基础企业如何通过各种技术手段,并把数据转换为信息、知识和商机已经成为提高其核心竞争力的主要手段。而数据批处理测试达成上诉目标的一个主要技术手段,通过数据批处理,可以完成数据的加载、抽取、转换、清洗等功能,进而支撑企业的各种数据的分析。SpringBatch具有高性能、高可靠性、并行处理的能力,适用于金融、电信原创 2016-02-24 11:27:17 · 2832 阅读 · 0 评论 -
从头认识SpringBatch批处理框架--实例场景一信用卡消费对账
场景说明个人使用信用卡消费,银行定期发送银行卡消费账单,本例将模拟银行处理个人信用卡消费对账单对账,银行需要定期地把个人消费的记录导出成csv文件,然后交给对账系统处理。主要流程:(从credit-card-bill-201303.csv)读取数据---->处理数据----->写数据到 outputFile文件项目结构项目结构说明:CreditBill:信用原创 2016-02-26 11:04:08 · 10236 阅读 · 2 评论 -
从头认识SpringBatch批处理框架---JobRepository数据库存储元数据并分析存储元数据表
JobRepository存储执行期的元数据,提供两种默认实现,一种是存放在内存中,默认实现类为:MapJobRepositoryFactoryBean。在xml中的配置如下:<bean id="jobRepository" class="org.springframework.batch.core.repository.support.MapJobRepositoryFactoryBe原创 2016-02-26 16:11:33 · 15842 阅读 · 2 评论 -
从头认识SpringBatch批处理框架---Chunk拦截器
Chunk操作中提供了丰富的拦截器机制,拦截器可以实现额外的控制能力,例如日志记录、任务跟踪、状态报告、数据传递等能力,在SpringBatch的处理过程中,尽可能地保持业务的简单性,任何额外的处理需要在拦截器中进行功能实现 Chunk拦截器接口原创 2016-03-01 10:38:52 · 7734 阅读 · 1 评论 -
从头认识SpringBatch批处理框架---SkipListener
SkipListener在chunk处理阶段抛出跳过定义的异常时触发,在chunk的读、处理、写阶段发生的异常都会触发该拦截器SkipListener接口声明:/* * Copyright 2006-2007 the original author or authors. * * Licensed under the Apache License, Version 2.0原创 2016-03-01 11:17:19 · 3832 阅读 · 1 评论