解密普元大文件传输平台新版本21种特性

本文主要介绍大文件传输平台及其传输特性，以平台版本升级为切入点，探讨大文件传输平台对多种传输场景的支持及部署管控方面能力的增强。

目    录

 

01 普元大文件传输平台‍‍

02 普元文件传输平台新版本特性‍‍‍‍‍‍

03 信创项目案例‍‍

04 总结

01

普元大文件传输平台‍

1.1  文件传输面临的挑战

随着企业业务拓展，业务量及业务场景的增加，随之增加的不仅仅是数据的体量，复杂部署环境、多场景混合传输需求同样在高速增加。如何快速有效的将这些以文件形式存储的数据实时传输，满足各种文件数据交换场景，完成数据的更新，已成为企业内、企业间数据共享的重要课题，当前的文件传输平台建设面临如下挑战：

Ø  更复杂传输场景的支持

Ø  更多更大文件传输体量支持

Ø  更高标准的的平台管控需求

Ø  更便捷的平台操作需求

1.2 普元大文件传输平台

普元大文件传输平台是一款高性能、高安全、易管控的分布式大文件传输平台；基于高效的文件传输架构，轻松实现PB级大文件、千万级海量文件快速、稳定传输，支持点对点、FTP、SFTP、对象存储服务器等文件传输，完全满足金融、政府、军工、教育、能源、电信等行业在各类应用场景下的文件共享交换需求；拥有全栈信创环境适配能力，平滑替换目前大规模应用的FTP及国外同类产品，为企业内或企业间多级文件传输提供便捷、高效、可靠的平台支撑。

02‍

普元文件传输平台特性

2.1 原子级文件传输处理架构

单文件传输平台文件传输过程中文件处理划分成多个子模块，文件预处理模块、文件传输模块、文件后处理模块、应用处理触发模块。并将文件发送封装成一系列原子操作，包括：转码、压缩、解压缩、加密、解密、传输以及传输控制等，此类原子拆分实现了可控、高效、安全的文件传输。

2.2 点对点传输场景

平台支持通过简单界面配置，可快速实现在任意两台代理服务器间进行点对点的文件传输；同一文件可同时向多个目标节点进行文件传输，并通过平台进行统一管理；对处于两个不同网域/网段的代理节点可通过共享代理节点进行文件传输，也支持内外网间的文件传输。

2.3 特殊传输场景支持

平台支持与FTP、SFTP、对象存储服务器（京东、阿里、华为）进行文件传输，分离FTP、SFTP服务器定义与服务器认证模块，实现一个服务器对应多个用户或认证方式，通过控制管理中心界面化定义FTP传输策略、SFTP传输策略、对象存储服务器传输策略，实现代理服务器与FTP服务器、SFTP服务器、对象存储服务器进行文件传输。

2.4 支持多种调度策略

平台支持周期性触发方式，以分钟、小时、天、星期为单位周期性执行文件传输策略；提供定时触发功能，可设定策略在每天某个时间准时运行；支持标识文件触发方式，以标识文件到达为条件触发策略运行；以周期性、定时、标识文件出触发的策略均支持一次性运行。并且支持自定义调度配置，可通过灵活完成调度表示式，完成自定义调度策略。

2.5 区域化部署管理

平台增加区域概念，可以区域化进行项目部署，为项目区域化网络适配打下基础，管理节点Server、代理节点Agent可进行区域化配置，满足因业务及网络原因代理服务器需要分区管理需求,提升产品对复杂业务场景的支持。

2.6 目录文件动态变更

支持会计日与目录、文件关联定义，可根据当前会计日及当天日期完成目录动态变化，实现动态目录、文件变更功能。会计日由原本默认日期格式（yyyyMMdd）改为可配置日期根式，可根据现场目录形式定义不同的日期格式，满足不同日期目录路径需求。

2.7 目录文件日期跳转(T+N)

可通过配置日期跳转（T+N）用于满足金融行业部分业务数据滞后特性，实现当天传输前若干天数据文件需求。

2.8 策略级接口回调

策略执行完成后可调用外部接口进行结果通知，支持restful及webservice类型接口，可选策略级通知及文件级多次通知，支持Json及Xml报文类型，可自定义扩展字段并定义报文模板。

2.9 安全漏洞修复

平台经过第三方检测公司全方位安全扫描，并通过人工模拟形式对平台进行安全漏洞检测，修复已知的所有高中级别安全漏洞，提升平台安全性。

2.10 代理白名单功能

代理服务器IP白名单功能，限制通过接口、命令行、SDK方式向代理服务器传输文件，开启白名单功能后，只有IP在白名单内的发送方，才可与该代理服务器进行文件传输。

2.11 数据迁移功能

大文件传输平台提供包括用户、角色、权限等管理数据及包括区域、目录、文件、策略等业务数据的导入导出功能，可通过该功能实现新老环境的数据迁移；导出excel文件后，可对数据进行批量修改再次导入从而实现数据的批量导入。

2.12 文件传输限流机制

无需增加外部依赖，可同时对传输节点、传输策略及跨区传输进行限流配置，满足对整体及其文件级精准限流需求，保障传输网络的稳定性及安全性。

2.13 区域限流机制

依托平台区域化部署，可通过配置实现区域内、区域间的文件传输限流功能，平台动态统计区域间带宽使用情况，并根据分配策略对传输文件进行带宽分配，系统添加多种容错机制，保障带宽顺利归还，文件持续传输；大文件传输平台提供区域限流监控，可实时查看区域间带宽使用及剩余情况并进行动态调整。

2.14 代理节点统一管理

文件传输与其他服务不同之处在于会有大量服务器节点参与传输，大文件传输平台实现节点均衡分布、错峰心跳检测及统一在线版本升级回退，轻松支持千级以上节点的接入、管理与监控，补丁数据库统一存储保障复杂部署场景中代理版本更新与回退能力。

2.15 安全可靠的文件传输

平台支持文件加密、压缩传输，内置DES、AES、SM4加密算法，ZIP、RAR压缩算法；支持通过扩展方式动态添加加密、压缩算法；所有文件在传输前后进一次MD5校验，并将两次MD5校验码进行比较，完全相同时标识文件成功传输；提供出口、入口函数接口，可快速实现文件发送前、文件接收后对文件进行校验、脱敏、病毒扫描等操作，从而保障文件传输安全、可靠性。

2.16 去中心化调度

文件传输调度平台在架构上分为管理平台、管理节点、日志中心和传输节点四部分，采用去中心化调度设计，将调度功能集成在传输节点，避免因为集中式调度节点的宕机导致整个系统服务停止。并且实现了平台高可用和传输任务的负载功能。

2.17 支持超大及海量文件传输

通过点对点、文件分片技术支持TB级以上大文件传输，通过文件并发传输，端口及连接复用技术实现海量文件的高速传输。

2.18 多活部署，分布式无单点架构

文件传输平台以分布式集群模式进行部署，可部署多台控制管理中心，对外统一提供管理服务；管理节点、日志中心、传输节点均以多活模式运行，可动态扩展；当传输节点宕机后，其他同组节点将承担其传输任务，保障异常情况下文件传输正常运行。

2.19 多角度全方位监控统计

文件传输平台提供统一监控入口，可对平台内服务器资源及文件传输过程进行全程监控，并提供全方位、多角度的文件传输统计监控，整体掌控文件传输状况。

2.20 管理中心易用性优化

大文件传输平台增加策略创建向导，指导用户完成策略新增；在策略新增页面增加节点、目录、文件、调度策略的快捷添加入口，用户无需退出策略编辑页面进行其他业务实体的添加，使用户无需反复添加相同数据；关联策略执行记录与文件传输记录，可通过策略执行记录查看所有的文件传输信息；优化代理服务器资源展示页面，提高用户体验、降低产品使用门槛。

2.21 灵活、丰富的扩展机制

平台内置扩展框架，可快速实现新功能，满足客户特定业务诉求；对接第三方系统；扩展功能与内置功能完全兼容，可轻松纳入平台监控体系。

03‍

信创项目案例‍‍‍‍‍‍‍

3.1 某国有银行数据交换平台重构项目

项目背景

企业级数据交换平台是某国有银行IT系统规划中数据服务的基础设施，由于该平台建设运行多年，对于迅速增长的数据量扩容成本过大，对于日新月异的IT技术难以兼容，对于信创标准难以满足。故需对该平台进行重构，重构后的平台需在对原有功能实现的基础上，能够满足海量文件交互，高效的文件交换、批量数据的全链路监控、智能化运维等需求，采用分布式架构、具备弹性扩缩容能力，提升交行基础数据服务水平。‍‍

节点兼容性替换方案

在保证对现有系统无感知的目标下对CD传输单元进行替换，调度平台提供对Agent传输任务调度的支持，对源节点、中心节点、目标节点逐步替换现有CD节点，并梳理相关传输任务，将中心节点传输模式改为点对点直传模式，减轻系统核心节点压力。

项目实施效果

普元大文件传输产品为行内文件数据传输提供了高效、可靠、便捷的工具支撑，目前已经在总行文件数据中心、各个业务系统、多级分行进行部署，并参与行内文件传输工作，达到无缝替换国外文件传输平台产品C:D预期；支撑千级传输节点接入，海量文件传输，为全行后续文件数据交互打下了坚实可靠的基础。

04‍‍

总结

普元大文件传输平台定位于实现企业内或企业间的文件传输，致力打造统一的文件传输管理平台，实现文件传输一站式服务。在国家大力推行国产化进程的浪潮下，普元大文件传输平台将更进一步优化传输体系架构，贴合信创产业化需求，提升产品业务性能，为企业提供更高效、安全的文件传输，更优质的文件传输管理体验，加速企业文件型数据的共享进程。

关于作者：敏强，普元研发中心资深顾问，擅长分布式、多线程、高并发编程，数仓技术，企业数据交换体系建设，主要负责数据交换类产品的设计与研发，曾参与交通银行总行数据交换重构、长沙银行文件传输、河南农信文件传输等项目。