chuangjiji0839-CSDN博客

ETL集群采集器基于ETL采集器（单机版）的一个升级，主要分为五大组件：分别为JOB任务组件、采集器组件、KAFKA消息组件、ETL清洗组件、存储组件，每台节点每秒清洗3W-5W条日志。 JOB任务组件 JOB任务组件简要介绍 ...

2015-10-12 22:49:00 284

ETL采集器-开发者模式 ETL采集器一共有4层分别为：采集层、任务拆分层、清洗层、存储层。除了采集层开发者API 实现ICollectData接口,存储本地文件 public interface ICollectData { //执行采...

2015-09-25 16:29:00 151

JDBC管理器通过JDBC API将数据库的字段、字段类型、长度缓存到Ehcache中，最终拼接解析形成一条预处理sql。预处理参数封装到IData对象中（Idata继承Map对象,新增处理JDBC方法）,IDataset为查询返回结果（继承List对象，新增JDBC方法）项目...

2015-09-24 23:00:00 120

Job管理器是基于数据库管理Quartz Job任务，更方便管理Job的生命周期项目下载 URL:http://pan.baidu.com/s/1ntAH4Zf 密码:j8za Job管理器主要特点：配置applicationContext.xml ...

2015-09-24 22:06:00 149

javaEcharts报表管理器是基于Echarts开发，通过配置数据源映射相应的Echarts报表 JavaEcharts报表管理器主要特点：支持一维报表、二维报表支持报表的图文并茂支持报表导出Excel 支持报表汇总...

2015-09-24 09:42:00 137

JDBC管理器通过JDBC API将数据库的字段、字段类型、长度缓存到Ehcache中，最终拼接解析形成一条预处理sql。预处理参数封装到IData对象中（Idata继承Map对象,新增处理JDBC方法）,IDataset为查询返回结果（继承List对象，新增JDBC方法） JDBC管...

2015-09-23 22:07:00 98

java内存管理器是基于EhCache封装 Java内存管理器主要特点：内存管理器缓存在内存和磁盘存储可以伸缩到数G，Ehcache为大数据存储做过优化。大内存的情况下，所有进程可以支持数百G的吞吐。为高并发和大型多CPU服务器做优化。 ...

2015-09-23 16:31:00 81

ETL采集器是基于Job管理器管理任务,spring管理采集清洗对象，JDBC管理器管理JDBC。数据处理流程：Job管理器调度->采集(生成文件)>->清洗层读取文件->存储存储泛化日志 1.ETL采集器主要特点 ETL采集器：分为三...

2015-09-22 17:11:00 250

Job管理器是基于数据库管理Quartz Job任务，更方便管理Job的生命周期(Job管理器使用) Quartz管理器主要特点：支持任务的启用、停用支持MySql、Oracle、DB2等多中数据库灵活便利的管理quartz任务 ...

2015-09-22 11:05:00 113

chuangjiji0839的博客