数据的交换共享是数据全生命周期中发挥价值的关键一环。
无论政府部门或企业,在日常管理过程中,由于业务需求,通常需要与一个或多个内部外部的组织交换共享数据,但加快数据共享并不是搭建一个数据平台那么简单。从数据的采集,到对数据的加工清洗,再将数据运用到日常管理,予以价值化,都需要大量基础工作的铺垫。今天小亿就来从以下几个方面说说数据交换与共享:
1.数据交换共享的基本概念、价值与意义;
2.3种常见的数据交换方式方法;
3.实现数据交换共享的原则和注意事项;
4.3个高效安全的数据交换实践案例分享。
— 01 —
什么是数据交换与共享
出于各种原因,组织会选择数据交换与共享。例如,内部与内部的数据交换共享,企业与企业之间的数据交换共享,以及政府或企业对个人或服务提供商的数据交换与共享。数据交换共享就是让不同地方使用不同计算机、不同软件的用户能够读取他人数据并进行各种操作运算和分析。
也就是当数据从一个系统跨授权边界访问或传递到另一个系统时,就需要使用一个或多个协议来指定每个组织的责任、要访问或交换的数据类型和影响界别、如何使用交换数据,以及在交换系统的两端处理、存储或传输数据时如何保证数据安全。
常见的数据交换/共享场景包括但不限于:在授权用户之间共享数据和信息;提供对数据的自定义访问;合作进行联合项目;提供完整的、短暂的、间歇性的、永久的或临时的数据交换共享活动;通过交换共享减少数据收集工作量和成本;提供在线培训;为关键数据和备份文件提供安全存储。
— 02 —
数据交换共享的价值与意义
实现数据共享,可以使更多的人充分地使用已有数据资源,减少资料收集、数据采集等重复劳动和相应费用,而把精力重点放在开发新的应用程序及系统集成上。总的来说可以为组织带来如:降低运营成本、增强业务能力、提高效率、集中访问数据以减少重复数据集、促进组织间的沟通与合作,加强参与组织之间的联系等益处。
除此以外,数据共享的程度也反映了一个地区、一个国家的信息发展水平,数据共享程度越高,信息发展水平越高。而要实现数据共享首先,应建立一套统一的、法定的数据交换标准,规范数据格式 ,使用户尽可能采用规定的数据标准;其次,要建立相应的数据使用管理办法,制定出相应的数据版权保护、产权保护规定,各部门间签订数据使用协议,这样才能打破部门、地区间的信息保护 ,做到真正的信息共享。
— 03 —
三种数据共享的方式方法
1.数据交换与共享方式
数据交换的条件至少需要具备三个基本组件:两个端点和一个数据流动信道,数据流动信道可以是专用或租用线路,也可以使用虚拟专用网络 (VPN) 解决方案(例如:IPsec、SSLVPN、L2TP),使用专用电路会更昂贵,但更安全,使用VPN则是较便宜的替代方法,也是常用的通信方案。下图是建立数据交换的两种通信方式:
数据交换的两个端点/系统之间互连可以在网络级或应用级实现:
(1)网络互连:两个或多个网络之间的物理或虚拟通信链接,这些网络由不同的组织运行,或在同一个组织内,但在不同的授权边界内运行。
(2)应用互连:由不同组织或同一组织内,但在不同授权边界内运行的两个或多个应用程序之间的逻辑通信链接,用于交换数据或提供信息服务(例如:身份验证、日志记录)。应用互连包括文件共享服务或应用以及发生在会话层、 表示层或应用层的数据交换源。
2.数据交换与共享方法
数据交换的常见方法包括但不限于:电子或数字文件传输、通过便携式存储设备的数据交换、通过电子邮件的数据交换、数据库共享或数据库事务信息交换,以及基于网络或云的服务。
(1)电子或数字文件传输
数据可以通过电子或数字文件传输进行交换,通过文件传输(通信)协议在两个系统之间传输文件(数据)。各组织需要考虑与使用不同文件传输协议带来的安全风险;文件传输协议包括FTPS、HTTPS和SCP。
(2)便携式存储设备
在某些情况下,可能需要使用便携式存储设备交换数据, 例如可移动磁盘(数字视频光盘 (DVD))或通用串行总线 (USB)等)。组织需要考虑被传输数据的影响级别以及数据将要传输到的系统的影响级别,以确定所交换的数据是否采取了足够的措施。
(3)电子邮件
组织经常通过电子邮件以附件的形式共享数据。组织需要考虑参与组织的电子邮件基础设施的影响级别和已经实施的安全控制,以确定是否实施了足够的控制措施来保护正在交换的数据,例如,在中等影响级别受保护的电子邮件基础设施不足以保护高影响级别的数据。
(4)数据库
数据库共享或数据库事务信息交换,包括来自另一个组织的用户对数据的访问。组织需要考虑的是提供数据访问而不是传输数据的可行性,以减少重复数据集以及数据机密性和完整性损失的风险。
(5)文件共享服务
文件共享服务包括但不限于通过基于 Web 的文件共享或存 储共享数据和访问数据(例如 Drop Box、Google Drive、MS Teams 或 MS One Drive)。使用基于Web的文件共享或存储系统,该系统无法让数据所有者了解服务器所在位置,或对设施、服务器和数据的物理和逻辑访问。
3.数据访问或传输
(1)通过系统访问交换数据
数据本身不会被传输,而是由参与组织的用户访问。通过系统访问交换数据减少了重复数据集的情况以及数据机密性和完整性丢失的风险。与任何形式的系统访问一样,用户可以访问数据资源的程度取决于组织业务以及数据的机密性、完整性和可用性遭到破坏的影响程度。
因此,组织可以通过访问控制,从而将用户限制在单个应用、文件或文件位置,并采用特定的策略来管理访问(例如,访问仅限于只读)。其他组织可能会建立更灵活的交换,使用户能够访问多个应用程序、文件或数据库。
(2)通过传输交换数据
数据会在其他物理位置被复制。数据传输可能会导致数据集重复、数据过时或数据未经授权披露或修改的风险增加。然而,传输的数据可能被要求支持在不同的业务流程、不同的软件中使用同一组数据,或者当通过系统无法访问交换数据时。
建议组织将交换的数据限制为仅支持所述业务所需的特定数据,而不是传输整个数据集。参与组织需要考虑丢失所传输数据的机密性和完整性可能造成的影响,以及保护与预期影响级别相称的数据的必要性,无论其物理位置如何。
— 04 —
数据交换共享的四个原则
数据共享服务以数据为核心,解决如何将数据方便、高效、安全地共享出去,降低数据获取难度,提升数据需求体验和效率。通过平台能力的建设,提供不同的数据共享服务形式,满足不同类型的数据共享服务需求。总的来说,数据共享服务的建设主要有以下原则:
1.一致性原则:提供数据共享服务前,要确定每项数据的源头单位, 由源头单位对数据的准确性、一致性负责。减少数据“搬家”,从而减少向下游二次传递所造成的数据不一致问题。
2.黑盒原则:数据使用方不用关注技术细节,满足不同类型的数据共享服务需求。
3.敏捷响应原则:数据共享服务一旦建设完成,并不需要按数据使用方重复构建集成通道,而是通过“订阅”该数据共享服务快速获取数据。
4.自助使用原则:数据共享服务的提供者并不需要关心数据使用方怎么“消费”数据,避免了供应方持续开发却满足不了数据使用方灵活多变的数据使用诉求的问题。
5.可溯源原则:所有数据共享服务的使用都可管理,数据供应方能够准确、及时地了解“谁”使用了自己的数据,确保数据使用的合理。
— 05 —
3个高效安全的数据交换实践案例
这里主要介绍基于亿信华辰自主研发的“数据交换管理平台EsDataExchage”相关案例。该平台立足于解决相互独立的业务系统之间的业务数据可以无障碍传输共享的问题,通过丰富的数据处理和交换任务设计,对分散的业务系统进行数据整合,消除“信息孤岛”,实现各类业务系统的互通互联和数据共享,形成统一的数据服务层,为政企机构业务信息服务提供可靠的数据基础。
1、佛山某大区政务服务数据管理平台
基于人口库、卫计、工商、流管数据,建立区大数据统筹局一库三部门的统一技术和业务标准;开发区域数据交换平台,完成三大部门数据的采集、传输,以及一库三部门的交换共享,提供衔接顺畅的数据申请、交换服务,并对交换日志数据进行监控分析。为各部门数据应用如自助填表系统、教育无纸化提供了高质量的数据支撑。
佛山某大区政务服务数据管理平台架构图
2、国家卫生部部级数据应用平台
该项目是由国家卫生部统一筹划部级数据应用平台,该平台以亿信数据交换管理平台为基础,共享和整合公共卫生服务、卫生资源、医疗服务、人口信息、分级诊疗、药政统计、疾病救助等业务数据,满足了全国各省市卫生统计的个性化数据采集,确保统计数据管理和应用的可持续性。
国家卫生部部级数据应用平台架构图
3、农发行数据交换平台
针对综合业务系统、信贷、国际结算等源业务系统的数据通过亿信数据交换平台进行统一抽取,通过数据转义、码值转换等实现数据标准化,并将处理后的数据以文件或库表等形式下发给消费系统。
农发行数据交换平台架构图
— 06 —
注意事项
1.明确权属问题:需要保证共享不改变数据的归属权,解决数据提供部门的后顾之忧;
2.解决信任问题:一方面是使用方对数据的信任,保证数据是有效的、完整的;另一方面是提供方对数据不被它用的信任;
3.保证可追溯:共享的提供和使用过程要可追溯,解决纠纷,明确责任。如果数据用在不该用的地方或者产生了隐私安全问题。可以追溯到这个问题出在哪个环节上,该由哪个部门来负责,这样在数据使用过程中,可以确认权责,建立出权责匹配的问责体系;
4.做到可持续:达成共享之后,只要条件不变就能一直共享下去,降低部门间的沟通协调成本,最终才能够达到我们所希望的结果。