大量数据 导入_智慧警务数据汇聚方式

1、实时数据汇聚

2、日志文件汇聚

3、关系型数据库数据汇聚

4、多级数据汇聚(全量及增量)

(1)批量模式

批量模式用于在平台建设完成初期进行历史数据迁移，将大量的基础数据和历史数据导入平台集群。可通过批量采集等ETL工具将数据导入分布式文件系统或列式数据库中；同样可通过bulkload工具将批量数据导入列式数据库中；也可以将数据直接导入分布式文件系统中，其后可以通过建立外表的方式对数据进行分析。

(2)增量模式

增量模式用于上线后的将指定时间间隔(如每天)内的数据导入平台，可通过批量工具的增量导入等模式进行。

对于数据的导出，支持SQL查询结果导出为文本文件，可以设定文件的格式、大小、命名，为了保证导出效率，系统内所有节点并行导出。

来源：《智慧警务》

相关阅读：

亭湖公安大数据智能化平安蓝图

情指勤可视化指挥云平台架构

帮信息中心主任调整方案的真实故事

大数据警务应用实战平台整体方案

数据湖解决方案

智慧警务数据汇聚原则