【金猿产品展】DataPipeline——为客户连接一切数据、应用和设备

DataPipeline产品

本产品由DataPipeline投递并参与“数据猿年度金猿策划活动——2020大数据产业创新服务产品榜单及奖项”评选。





大数据产业创新服务媒体

——聚焦数据 · 改变商业


DataPipeline 实时数据融合产品通过多种实时数据技术,支持广泛的数据节点类型,协助企业构建以业务目标为导向的数据链路,按需快速定制、部署、执行数据任务,以支持从传统数据处理到实时数据应用的各类场景。

应用场景/人群

 某股份制商业银行实时数据管道项目

主要应用场景:

●客户行为等实时数据的标准化补全并分发到各个应用系统;

●业务系统的实时账户变动与指标变化传输到GaussDB作为实时分析依据;

●实时数据加载到Redis作为业务实时查询使用;

●主数据系统数据和数据仓库数据加载到SequoiaDB作为历史数据查询使用。

某持牌金融科技服务公司数据库准实时数据采集项目

 

主要应用场景:

●多源异构:DB2,Oracle,MySQL等多种数据库进行近实时的数据采集功能,并对数据源建立高效的管理功能,实现对数据源、目的地的数据连接统一管理管理,通过界面进行数据源与目的地注册,删除数据源,同时根据需求不断迭代支持新的数据库;

●实时采集:利用解析数据库归档日志的方式,实现秒级的数据变更捕获,将解析的变更记录传送到数据目的地中,包括日志中提取数据变更的增、删、改等DML操作记录,以及新增表、删除表、添加字段、删除字段等自动同步到目的地中;

●标准管理:统一的可视化管理页面,提供平台级别的数据管理功能,包括产品权限、数据时效管理和安全管控等方面功能,为数据工程师、运维人员提供直观的数据任务地图,随时可以洞悉数据的最新动态,极大提升运维工作效率和效益。 

产品功能

基于日志的实时增量数据获取技术保证实时数据全面、准确。DataPipeline 实时数据融合产品支持数十种主流数据库作为数据节点,打破企业域内各类异构数据技术构成的樊篱,让存储在不同类型数据节点中的数据随需可得;采用基于日志的增量数据获取技术(Log-based change data capture),为主数据管理、数据仓库、大数据平台提供实时、准确的数据变化,从而使得客户可以根据最新数据进行运营管理与决策制定;支持一对多数据分发,针对数据分发、外部数据管理等场景,确保整个企业使用的数据准确、可靠、一致。

使用分层管理按需服务的配置型平台来提升 IT 敏捷开发效率。一方面保证数据节点的安全性、稳定性、业务连续性,一方面为数据应用提供更多的自主性,使客户可以将数据获取的范围、数据任务的生命周期、系统资源投入的多寡等权限更多的交给实际使用数据的业务部门及应用开发人员。提升敏捷开发效率,实现多速 IT,从而在业务需求变化时从容应对,达成数字化转型目标。

通过高容错的分布式系统和卓越的性能来降低风险。DataPipeline实时数据融合所有组件均支持高可用,融合引擎基于容器化分布式集群部署,支持动态扩缩容;在节点管理、链路管理、任务管理中均有各个层次稳定性相关策略配置。针对数据采集、消息队列及数据加载的各个组件都进行了一系列专门的性能优化,完全满足客户从数据迁移、数据交换到实时数据服务、实时数据分析的各类时间窗口要求和时效性要求。

产品优势

DataPipeline实时数据融合以专业化产品的方式提供给用户进行配置式构建,大大降低了企业搭建基础平台的研发成本与运维成本,让客户能够将时间精力与优质资源投入到数据价值释放与商业价值实现上去。

企业级平台的建设周期从三到六个月减少为一周以内,财务成本由300万+减少到50万以内,数据融合任务的研发交付时间从2周减少为5分钟;

通过多种实时数据技术,支持广泛的数据节点类型,协助客户构建以业务目标为导向的数据链路,支持从传统数据处理到实时数据应用的各类场景;

使用分层管理按需服务的配置型平台来提升敏捷开发效率 ,实现多速 IT,从容应对业务变化,达成数字化转型目标。

使用客户/人群

DataPipeline服务了百余家客户。在银行、保险、证券、资管、零售、能源、制造业、汽车、商业地产、医疗、互联网科技等重点领域被广泛使用,服务了中国人寿、民生银行、山东城商行联盟、财通证券、中国石油、金风科技、法国威立雅集团、吉利汽车集团、星巴克、百胜中国、玫琳凯、太平鸟、龙湖地产、阳光城集团、邵逸夫医院、叮当快药、正保远程教育集团等在各自行业信息化水平领先的客户。

市场价值

DataPipeline实时数据融合平台满足了行业领先客户对数据处理与分析的更高要求,帮助客户通过更加专业全面、更加灵活稳定、更加敏捷高效的方式处理异构数据融合中纷繁复杂的各种问题,解除传统数据集成工具的时效性束缚,打破多种异构数据管理工具的技术壁垒,是先进企业释放实时数据价值最好的选择。

提示:直接点击文末左下角“阅读原文”链接可直达该产品官网页面

产品所属企业·DataPipeline:

DataPipeline致力于成为中国的世界级数据中间件厂商。坚持技术驱动,深耕企业服务,不断创新产品与服务,利用实时数据融合产品打破技术壁垒,让客户专注数据价值释放。DataPipeline 核心团队分别来自谷歌、Yelp、亚马逊、IBM、甲骨文、中科院等国内外知名企业,皆拥有数十年大数据开发和项目经验。目前已经成功服务了星巴克、金风科技、财通证券、龙湖地产、喜茶、玫琳凯、叮当快药、智慧图、销售易等多家行业领先的企业客户,行业覆盖零售、制造、金融、医疗、能源、政府和互联网等,在平台功能和服务能力上均得到了国内市场的普遍好评。

2019 年获得百度风投领投,经纬中国、清流资本跟投的数千万 A+ 轮融资,目前公司总部位于北京,并且在北京、南京分别设有研发和服务中心。未来,DataPipeline 将加速提升数据融合平台的硬实力,持续优化行业客户服务的软实力,全面提升公司的核心竞争力。

—— / END / ——

以下内容更精彩


2020年度产业图谱:

 2020中国数据智能产业图谱1.0版

 从产业图谱看中国2020年数据智能行业的发展态势

2020数据猿《#榜样的力量#寻找新冠战“疫”,中国数据智能产业先锋力量》大型公益主题策划活动:

●《新冠战“疫”——中国数据智能产业最具社会责任感企业》榜

●《看过大佬们发的朋友圈之后,我相信:明天会更好,明年定会春暖花开》条漫

2019数据猿年度金猿榜:

2019大数据产业趋势人物榜TOP 10

●2019大数据产业创新服务企业榜TOP 15

●2019大数据产业创新服务产品榜TOP 40

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ETL工具是用于数据提取、转换和加载的软件工具,它们有助于在不同的数据源之间进行数据移动和转换。下面是对比较常见的几种ETL工具的简要介绍: 1. DatapipelineDatapipeline是亚马逊AWS提供的ETL工具,它支持从不同的数据源提取和加载数据,并提供了一套易于使用的界面来定义数据转换和处理逻辑。 2. Kettle:Kettle是一款开源的ETL工具,也称为Pentaho Data Integration。它提供了一系列直观的界面和可视化工具,使用户能够轻松定义ETL过程,进行数据转换、清洗和加载。 3. Talend:Talend是另一款流行的开源ETL工具,它提供了广泛的连接器和转换组件,支持从多种数据源提取和加载数据。用户可以通过可视化界面快速构建ETL流程,并进行数据处理和转换。 4. Informatica:Informatica是一家知名的商业ETL工具提供商,其ETL工具提供了大量的功能和可扩性,适用于各种复杂ETL场景。它提供了可视化工具和强大的功能,支持从多种数据源提取和加载数据。 5. Datax:Datax是阿里巴巴开源的ETL工具,它专注于大数据场景,具有高性能和可扩性。它支持多种数据源和大规模数据迁移、转换和加载操作。 6. Oracle GoldenGate:Oracle GoldenGate是由Oracle提供的实时数据集成和复制工具,它可以在不同的数据库之间实现实时数据同步和数据复制。它支持多种数据库平台,并提供高性能和可靠的数据复制功能。 综上所述,不同的ETL工具在功能和适用场景上有所差异。选择合适的ETL工具应根据具体需求和预算来考虑,例如数据源类型、数据处理能力、易用性和性能要求等因素。最佳选择应基于综合考虑,以满足项目或组织的特定需求。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值