数据采集体系
产品及服务:
共享交换系统
共享交换系统是企业级批量数据处理总线产品。可以快速稳定的实现异地、异构数据库的数交换和整合,确保参建部门之间,参建部门与交换系统之间数据交换过程中的安全,并提供交换审计的管理,对交换流程、交换节点、交换量等进行统一配置和监控等。
治理平台
社会治理平台是,用于对政府机构的各种数据源进行标准化采集与管理,并对提供数据源的采集队伍进行全方位督查与管理的平台型产品。云采利用移动系统与GPS相结合,采用大数据分析技术、GIS分析技术、公安部数字身份认证等技术,对政府机构所采集的各类事件、人口、房屋、法人、地址、地理空间等数据进行汇总统计、建立全业务关联、智能分拨,全方位构建数据采集与队伍管理系统。
数据填报系统
智能填报功能主要为系统终端用户,或者说是使用系统的业务人员,提供一个纯HTML页面、界面友好、简单易用的填报表设计、发布、管理与填报数据汇总分析的平台。用户不再需要使用专门的报表设计器来设计填报表模板、设计报表样式与填报属性、在模板上设置填报数据向数据库存储的更新属性、发布报表至应用系统平台、抽取 填报数据进行统计分析等等的一系列复杂且具有开发性质的制表过程。
众包采集系统
众包采集系统,将通过发展大众建立众包数据采集队伍,采用移动设备进行众包采集,将数据进行集中管理,保障数据上传的及时、高效、更新速度快。同时提供数据的及时更新汇总与输出,对数据进行过滤、筛选、校验、整理等,对数据进行质量把控与管理,为小微企业等众多数据的需求者(称为“金主”)提供数据支持。
深网爬虫系统
爬虫系统的功能是下载网页数据,为搜索引擎系统提供数据来源。很多大型的网络搜索引擎系统都被称为基于 Web数据采集的搜索引擎系统,比如 Google、Baidu。由此可见网络爬虫系统在搜索引擎中的重要性。网页中除了包含供用户阅读的文字信息外,还包含一些超链接信息。网络爬虫系统正是通过网页中的超连接信息不断获得网络上的其它网页。正是因为这种采集过程像一个爬虫或者蜘蛛在网络上漫游,所以它才被称为网络爬虫系统或者网络蜘蛛系统,在英文中称为Spider或者Crawler。
数据治理体系
数据资源体系:
-
数据监管保护系统:
数据监管保护系统是对部门、用户、角色的不同属性的用户,在数据库级、表级、字段级进行访问控制。对数据采集、数据抽取、数据清洗、数据融合以及数据服务支撑等过程进行监控管理。根据政务数据敏感程度、使用对象、数据用途不同等对数据进行数据脱敏,确保政务数据安全。
-
数据集成管理系统
数据比对系统是根据预定义的数据比对和校验规则,对数据进行差异分析和异常分析,对于分析的结果,反向推送给数据提供部门,进一步提升数据质量。同时可以配置为一个自动化的流程,定义比对的时间、比对的业务规则进行数据比对工作。本系统提供数据比对配置,管理和调度功能,通过可视化配置比对任务,并进行任务调度,系统根据比对规则,进行数据比对,并找出数据差异,提供差异数据的导出,同时统计数据匹配情况。
-
数据集成管理系统
数据集成管理系统作为数据融合与数据治理体系的一个环节,负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。
-
数据质量工单系统