文件传输的三重挑战与解决方案

转载本文需注明出处：微信公众号EAWorld，违者必究。

王建华：文件型数据传输是部门、企业之间重要的数据传输方式。在国家大力支持信创产业、推进国产化进程的浪潮下，如何建立一种安全、高效、高容错、自动化的文件传输平台，稳妥替换原有平台，实现全面向国产架构体系化迁移，在信创架构下支撑企业内与企业间的资源共享，满足数据驱动的创新发展，成为了信创工作的重要课题。

01

文件传输信创工作落地挑战：

如何全面向国产架构体系化迁移

在金融等众多行业用户的信创实践中，文件传输信创工作落地中遇到的众多问题与难点，可以归纳为文件传输平台向国产架构体系化迁移的三重挑战。

★ 挑战一：文件传输是否能平滑迁移？

聚焦“平滑迁移”，需要提供完备方案，降低迁移风险，并保障迁移到国产环境后的平稳运行。

★ 挑战二：能否满足海量文件高性能需要？

聚焦“高性能”，需要使用符合高性能要求的信创产品，保障迁移到信创环境后系统的良好运行，性能满足业务高并发需求，以及后续业务连续增长对性能提升的要求。

★ 挑战三：能否涵盖原有文件传输平台的所有能力？

聚焦“平台能力”，需要使用具备全面能力的信创产品，保障迁移到信创环境后，能够覆盖原有文件传输所有功能，无缝兼容原有传输业务。

三重挑战集中体现了文件传输信创工作中的重中之重，是如何构建高性能、安全可控的大文件传输平台，护航从原有架构平滑地全面迁移到信创架构，并满足业务性能以及不断增长的需要，通过平滑迁移能力，无侵入式保障文件传输可靠运行，保障体系化迁移落地。

02

文件传输信创项目建设的实践路径

自国家组织实施信创工程以来，信创工程经过多期试点，范围从党政办公扩大到政务信创、金融信创、企业信创等全领域范围。各类型数字化信创落地场景推动了高频次细碎以及超大文件传输需求的持续扩张，文件传输信创在不同类型的项目建设中，形成了从情况摸底、迁移分析到实施落地的实践路径。

★ 文件传输情况摸底

对正在运行的文件传输情况、传输节点部署、文件使用情况进行详细摸底，包括系统数据量，文件传输任务量、系统节点交换、文件传输调度等。

★ 文件传输迁移分析

进行包括操作系统、数据库、传输模式等在内的技术路线总体可行性分析，以及原有系统、现有部署架构、传输模式的改变、业务系统配合等迁移影响分析，需要详细了解所选择的技术路线对客户业务系统会产生哪些影响。

★ 文件传输实施及迁移方案

分步迁移，从办公系统、一般业务系统、核心业务系统的顺序进行迁移，分步迁移要考虑共生，最终制定详细的实施方案、迁移方案及计划。

03

如何满足信创平滑迁移：

体系化的文件传输迁移方案

遵循文件传输信创项目建设的实践路径，形成了基于大文件传输平台BFT的体系化文件传输迁移方案，帮助用户根据具体需求，以贴合实际的替换方案快速完成信创实践。

★ 兼容性替换方案，实现对国外同类产品的无缝替换

普元大文件传输平台BFT高可靠、易管控、分布式、可扩展，是覆盖信创关键领域提供替换方案的全栈式信创中间件产品之一。基于BFT的兼容性替换方案，是新老系统兼容性方案，能够兼容原有的传输接口、对接操作系统权限，完成对原系统的无侵入改造，顺利推动新老系统并行运行、千计节点快速替换、安装部署快速验证、传输任务迁移、远程更新管理等，实现对国外同类产品的无缝替换。同时，BFT针对信创环境进行了深度优化，整体性能提升一倍，并支持去中心节点化，实现点对点传输，可以让没有拆分、合并、过滤处理等特殊要求的任务，通过节点直传方式快速完成。

★ FTP迁移替换方案，实现原有系统的信创升级

基于BFT的FTP迁移替换方案，同样支持对原系统的无侵入改造，提供API快速接入能力，顺利推动新老系统并行运行、海量节点快速部署、传输任务迁移、远程更新管理等，实现原有系统的信创升级。同时，BFT适配全栈信创环境，满足业务高并发性能的需要，安全合规，传输可控、可扩展，确保系统可靠运行。 

04

如何满足海量文件传输高性能需要：

针对信创环境深入优化

基于信创实践，体系化的文件传输迁移方案针对信创环境进行深入优化，以易用、高效、安全的分布式大文件传输平台，支持大文件传输、批量文件传输、SM4加密传输等各类型传输场景，满足海量文件传输高性能需要。

同时，我们还联合合作伙伴，实现覆盖基础硬件、基础软件到应用系统的全栈体系优化，通过更有竞争力的全栈解决方案，助力金融、电信、政务等多行业解决信创工作中的多重难题。

★ 涵盖原有平台所有能力，打造易用、高效、安全的分布式大文件传输

Primeton BFT是高可靠、易管控的分布式大文件传输平台。产品基于安全、高效的数据传输技术架构，结合多种容错与安全机制，实现大文件传输、分发传输、压缩传输、加密传输等功能；提供简洁易用的配置管理界面，使用者无需进行复杂的操作，只需通过简单的界面配置即可完成数据传输任务的定义、运行、监控与管理。因此，Primeton BFT能够涵盖原有平台所有能力，无缝替换不符合信创环境要求的数据文件交换平台。

具体实践中，BFT提供的文件自动传输、文件加密传输、文件传输客户端、文件传输监控、全面监控统计、功能和资源权限管理等多项功能，保障了全链路追踪传输审计，实现了易用、高效、安全以及可定制化的文件传输服务，支撑多种交换模式下的集群高可靠传输、文件安全传输、超大及海量文件传输，安全合规，满足监管要求。

Primeton BFT涵盖原有平台所有能力

打造易用、高效、安全的分布式大文件传输

★ 文件传输能力支撑-高性能与可靠性、支持大规模化应用

（1）集群高可靠传输

• 文件传输平台以分布式集群模式进行部署，可部署多台控制管理中心，对外统一提供WEB界面进行系统管理维护；

• 管理节点以多活形式进行部署，管理所有在线代理节点；

• Server以多活模式运行，可动态扩展；

• LOG以多活模式运行，可动态扩展；

• 传输节点多节点部署，以主备模式运行，当主节点宕机后，其他同组节点将竞争成为主节点，保障异常情况下文件传输正常运行。

（2）文件安全传输

传输过程加密传输，内置DES、AES、SM4加密算法，ZIP、RAR压缩算法；支持通过扩展方式动态添加加密、压缩方式。

（3）超大及海量文件传输

通过点对点、文件分片技术支持TB级以上大大传输，通过并发任务支持海量文件高速传输。

★ 高开放、易扩展

（1）多种数据交换模式

提供点对点直传、文件中转路由传输能力，支持内外网文件传输。

（2）全链路追踪，传输审计

按任务统计分析、按节点统计分析、全节点统计分析、全链路追踪

★ 国产生态适配（芯片、操作系统、数据库）

普元文件传输专门针对国产信创环境进行深度性能优化。例如，在与华为鲲鹏实验室的深度合作中，普元大文件传输产品针对鲲鹏体系进行了深度性能优化，性能较主流方案性能大幅提升，更好支撑企业级业务场景的性能需求，保障文件可靠、安全的传输。大文件传输场景，相对于业界主流方案 TPS 提升36.01 % ；批量文件传输场景，相对于业界主流方案 TPS 提升99.72%；AES加密传输场景，更是相对于业界主流方案 TPS 提升131.91% 。

各类型传输场景

相对于业界主流方案 TPS 大幅提升

（图片来源：鲲鹏创新中心）

同时，文件传输可以根据客户选择的其它信创环境，针对大并发的场景，进行有针对性的优化提升。

（1）文件系统优化：针对IO密集型操作，应用异步IO方式优化文件系统读取效率。

（2）线程优化：针对 JDK优化线程池参数，最大程度发挥处理效率。

（3）CPU计算优化：应用CPU高速缓存，优化文件打解包、转码、加解密等操作的处理效率。

（4）设备驱动调优：通过优化内核驱动，对网络、存储设备等驱动模块进行调优，以适应高并发、高随机数据流吞吐。

（5）内核参数调优：对内核参数进行优化调整，通过最大化利用页缓存、减少系统API调用次数，提升文件读写效率。

★ 安全合规，满足等保、监管要求

Primeton BFT支持传输全链路追踪、传输实时监控、传输审计等安全审计需要，保障文件分组分类等文件使用安全，实现完整性校验防篡改等传输安全，安全合规，能够满足等保、监管要求。

Primeton BFT安全合规，满足等保、监管要求

★ 支持云化（容器）部署、全面支持IPV6、微服务类应用

Primeton BFT支持云化（容器）部署、全面支持IPV6、微服务类应用，满足金融等数字化与信创并进行业的云原生需求。

05

文件传输信创项目典型实践

普元大文件传输平台BFT成功应用于金融、政府、军工、通信、教育、能源等行业，推进典型实践。在金融客户的应用场景中，我们基于大文件传输平台BFT，帮助客户满足特色需求，实现文件传输信创实践的全面落地。

★ 某国有银行总行 ★

普元大文件传输产品实现数据交换平台信创重构，逐步全面替换国外同类产品

企业级数据交换平台是银行IT系统规划中数据服务的基础设施。在某国有银行总行，此类平台承接全行几百套系统、几十家分行、日均40万+批量文件的交换任务，有迅速增长的数据量扩容成本过大，基于国外原有产品进行传输，日新月异的IT技术难以兼容，以及信创标准难以满足等痛点。

因此，银行采用了基于普元大文件传输平台BFT的兼容性替换方案，通过国产传输中间件BFT产品兼容原有功能，解决系列痛点，满足海量、高效的文件交换、批量数据全链路监控、智能化运维等需求，采用分布式架构、具备弹性扩缩容能力，提升银行基础数据服务水平。

★ 某城市商业银行 ★

普元大文件传输平台匹配银行特色需求，实现全行传输零故障、及时率100%

在某城市商业银行，早期采用其他产品进行文件传输，该产品不是针对银行信息化系统特色需求研发，无法满足客户需求，存在可靠性低、无法支持API模式零碎文件传输、大批量高并发环境下偶发文件丢失、产品运维困难、银行难以接手实现自主可控等痛点。

因此，银行采用了基于普元大文件传输平台BFT的迁移替换方案，支持双模配置、节点管理、节点热备、数据保护、API接口等，在逐步替换中，保障传输零故障、及时率100%，目前已部署2000多个传输节点，实现全行替换原有的文件传输平台，达到全国产化与匹配银行特色需求的目标。

在信创工程向多行业拓展的趋势下，我们将融合典型案例经验，更深入地助力各类型客户构建高性能、安全可控的大文件传输平台，保障客户信创体系化迁移落地。同时，我们也将协同全栈式信创中间件产品及服务，帮助客户在更广泛的场景中实现信创完整落地。

关于作者：王建华，普元信创军团资深顾问，十余年IT从业经验，致力于数据服务共享、数据集成、服务治理、数据治理相关产品的架构与研发，具备较为领先的产品研发思路和丰富的实施落地经验，带领和参与了普元BFT、DSP、DI、ESB、MetaCube产品的研发，同时参与政府、保险、电力、公安、通信等多个领域数据项目的前期咨询及实施工作。

关于EAWorld

使能数字转型，共创数智未来！