【金猿产品展】DataPipeline：批流一体数据融合平台

DataPipeline产品

本产品由DataPipeline投递数据猿参与评选，更多关于【金猿榜/奖·2019征集评选】的相关信息，请点击这里了解详情丨征案例、征文章、征产品=评企业、评人物、评产品。

 

大数据产业创新服务媒体

——聚焦数据 · 改变商业

DataPipeline 是一款批流一体数据融合平台，无需任何代码，通过可视化图形配置界面只需 5 分钟即可自服务部署一条实时数据管道，并提供丰富的管理功能：数据的批流一体处理、API 数据接入、数据质量管控、数据任务流管理，可视化运维管理、错误队列管理、用户管理、元数据管理等，帮助客户实现高效地连接复杂的异构数据源和目的地，大数据量高并发数据同步，可视化实时监测保障数据质量等价值，为客户灵活的数据消费需求提供强有力的技术驱动。

应用场景／人群

DataPipeline 的目标人群集中于金融、零售、制造，地产、互联网行业，主要具备以下特征：大中型企业，亟需打通内外部系统，解决多源异构数据传输问题；数据价值密度较高；重视数据的时效性。

产品功能

批流一体数据读写

进行一到多的数据分发任务，支持批流一体数据同步，可批量选择数据读取对象，系统自动匹配异构数据源之间的表结构，并支持可视化配置所有属性。

核心功能：个性化任务设置，设置读取条件，清洗脚本，自动匹配映射关系。

数据清洗

通过数据清洗组件实现轻量化数据清洗，同时提供高级清洗组件，满足大部分数据处理需求。

核心功能：可视化清洗组件，高级清洗组件，表结构修改工具。

任务流

可通过定时（或外部请求）实现数据同步任务、脚本任务之间设置上下游流向关系，形成有向无环图（DAG）。

核心功能：任务调度，远程命令调度，任务调度监控。

错误队列

实时收集如脏数据、写入设置有误等数据相关错误，后置处理数据错误，避免数据无法写入目的地导致任务暂停的问题。支持个性化设置错误队列。

核心功能：错误队列设置，错误队列展示，筛选功能。

元数据管理

可查看或修改已连接 DataPipeline 的所有数据源的技术元数据、业务元数据、样例数据。

核心功能：技术元数据、业务元数据、样例数据、历史表结构变化。

运维管理

通过可视化运维看板，一站式综合管控内部所有数据的交换进展，提供多样化的图表，直观可视，打造数据交换的 “管理驾驶舱”。

核心功能：数据任务看板、速率进度信息、报表统计、日志审计。

产品优势

在技术上，DataPipeline 聚焦流式数据处理、高性能同步，快速解决数据融合问题。

在实时性上

相较于传统数据集成的批模式，DataPipeline模式最核心的区别是将批量变为实时：输入的数据不再是周期性地获取，而是源源不断的来自于数据库的日志、消息队列的消息。进而通过一个实时计算引擎，进行各种聚合运算，产生输出结果，并且写入下游。 

在解决多源异构问题上

可以支持市场主流关系型数据库和非关系型数据库。同时还可以快速实现云上数据平台的数据打通、支持各种大数据平台、文件系统同步。

在易用性上

DataPipeline 能够自适应表结构变化自动同步，无需人工干预，降低了医疗行业应用场景定制化的难度和Kafka技术的使用门槛，以较小的代价用新技术解决了传统数据融合的难题。 

在稳定性上

DataPipeline继承了开源的所有优势，产品灵活、自主可控、可扩展，同时侧重于丰富用户所需的管理功能：数据管理，监控，运维，稳定性，容错性，以及故障排查的能力。

在用户体验上

更强调自动化、智能化。打破了以往对于数据融合平台看不见摸不着的传统印象，采用可视化的数据融合管理界面。即便是无专业大数据技术背景的数据从业人员，也可在短时间内自主配置一条数据管道。

具体表现在：通过可视化运维看板（数据任务看板、速率进度信息、报表统计、日志审计），可以看到数据同步的状态、数据的来源与结构，及时了解数据的接入、交换和数据流向。当数据同步出现问题时，基于完善的纠错机制与系统状态监控，可第一时间找到数据源并进行处理。

服务客户／使用人数

DataPipeline已经成功服务了星巴克、金风科技、财通证券、龙湖地产、喜茶、阳光城集团、玫琳凯、叮当快药、智慧图、正保远程教育、销售易、贝发集团、长城汽车金融、邵逸夫医院等多家行业领先的企业客户，同时已与数十家产业上下游合作伙伴建立了战略合作关系。

市场价值

目前，中国企业在大数据流通、交换、利用方面大部分还处于起步阶段，关键原因是没有做好数据集成、数据清洗、数据同步等基础工作。

接下来数据应用集成未来会产生 3 个变化：

第一，相较过去变得更加复杂。原来可能只有一些数据库中的结构化数据，但是现在有结构化、半结构化、非结构化数据等。

第二，时效性更强。随着企业实时决策要求的提高，需要根据数据做到及时分析。

第三，高扩展性、灵活变化。随着社会的快速发展，业务部门对数据的需求也在时刻变化。意味着用户的 IT 架构、软件和整体发展战略都需要适应这种变化。

以上是数据使用面临的三大挑战，但相应地也会产生一些新的机会。目前市场上也有一些应用长达 10 年的工具，它们都是基于传统的软件架构；而新出现的工具则偏云化，主要部署在云上，以分布式架构支持大量数据和实时应用的工具还比较少。

基于以上背景，目前DataPipeline差异化战略：

（1）应用可以部署在云上；

（2）实时同步数据，满足企业实时性要求；

（3）采用分布式架构，能够支撑业务、数据、架构的变化；

（4）用户体验方面，更强调自动化、智能化。用户基于可视化界面监控全部数据任务，降低处理数据问题的成本。

产品地址：

https://www.datapipeline.com/product

注：也可直接点击文末“阅读原文”链接查看

产品所属企业·DataPipeline：

DataPipeline 是一家企业级批流一体数据融合服务商和解决方案提供商，国内实时数据管道技术的倡导者。通过平台和技术为企业客户解决数据准备过程中的各种痛点，帮助客户更敏捷、更高效、更简单地实现复杂异构数据源到目的地的实时数据融合和数据管理等综合服务。从而打破传统 ETL 给客户灵活数据应用带来的束缚，让数据准备过程不再成为数据消费的瓶颈。

 

DataPipeline 核心团队分别来自谷歌、Yelp、亚马逊、IBM、甲骨文、中科院等国内外知名企业，皆拥有数十年大数据开发和项目经验。目前已经成功服务了星巴克、金风科技、财通证券、龙湖地产、喜茶、玫琳凯、叮当快药、智慧图、销售易、贝发集团、长城汽车金融、邵逸夫医院等多家行业领先的企业客户，行业覆盖零售、制造、金融、医疗、能源、政府和互联网等，在平台功能和服务能力上均得到了国内市场的普遍好评。

2019 年获得百度风投领投，经纬中国、清流资本跟投的数千万 A+ 轮融资，目前公司总部位于北京，并且在北京、南京分别设有研发和服务中心。未来，DataPipeline 将加速提升数据融合平台的硬实力，持续优化行业客户服务的软实力，全面提升公司的核心竞争力。

——END——

【金猿产品展】

 

满帮ETC白条：助力司机群体普惠金融落地