1、实时数据汇聚
2、日志文件汇聚
3、关系型数据库数据汇聚
4、多级数据汇聚(全量及增量)
(1)批量模式
批量模式用于在平台建设完成初期进行历史数据迁移,将大量的基础数据和历史数据导入平台集群。可通过批量采集等ETL工具将数据导入分布式文件系统或列式数据库中;同样可通过bulkload工具将批量数据导入列式数据库中;也可以将数据直接导入分布式文件系统中,其后可以通过建立外表的方式对数据进行分析。
(2)增量模式
增量模式用于上线后的将指定时间间隔(如每天)内的数据导入平台,可通过批量工具的增量导入等模式进行。
对于数据的导出,支持SQL查询结果导出为文本文件,可以设定文件的格式、大小、命名,为了保证导出效率,系统内所有节点并行导出。
来源:《智慧警务》
相关阅读:
亭湖公安大数据智能化平安蓝图
情指勤可视化指挥云平台架构
帮信息中心主任调整方案的真实故事
大数据警务应用实战平台整体方案
数据湖解决方案
智慧警务数据汇聚原则