数据湖产品国内重点厂商介绍

亚马逊云科技

(1)企业简介

14年来,亚马逊云科技(Amazon Web Services)一直是世界上服务丰富、应用广泛的云服务平台。亚马逊云科技提供超过175项全功能的服务,涵盖计算、存储、数据库、联网、分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体,以及应用开发、部署与管理等方面,遍及25个地理区域的81个可用区(AZ),并已公布计划在澳大利亚、印度、印度尼西亚、以色列、西班牙、瑞士和阿拉伯联合酋长国(UAE)新增7个亚马逊云科技区域、21个可用区。全球数百万客户,包括发展迅速的初创公司、大型企业和领先的政府机构都信赖亚马逊云科技,通过亚马逊云科技的服务强化其基础设施,提高敏捷性,降低成本。
自2006年亚马逊云科技发布AmazonS3以来,亚马逊云科技的云上数据湖就已经埋下了伏笔。经过近十年的酝酿,亚马逊云科技逐渐将AmazonS3发展成云上数据湖的核心,并围绕Amazon S3陆续开发出一系列数据湖相关服务,构建了一套完整的Amazon 数据湖生态体系。
2020年3月24日,亚马逊云科技宣布上线的两项服务:Amazon Glue和Amazon Athena,这两项服务都是基于无服务器架构的托管服务,用户不需要关心后台的计算和存储资源,只要通过访问接口进行操作即可。这意味着亚马逊云科技的数据湖的工具链进一步完善,让亚马逊云科技的数据湖解决方案大拼图越渐丰满。

(2)产品介绍

在这里插入图片描述
亚马逊云科技上的数据湖能为用户提供以下价值:

  1. 灵活扩展,安全可靠。亚马逊云科技“智能湖仓”架构用Amazon S3作为数据湖的存储基础,客户可根据不断变化的需求,灵活扩展或缩减存储资源。Amazon
    S3可达到99.999999999%(11个9)的数据持久性,且具有强大的安全性、合规性和审计功能。

  2. 专门构建,极致性能。为了满足客户不同的数据分析需求,亚马逊云科技提供全面而深入的、专门构建的数据分析服务,包括交互式查询服务Amazon
    Athena、云上大数据平台Amazon EMR、日志分析服务Amazon Elasticsearch Service、Amazon
    Kinesis、云数据仓库Amazon
    Redshift等。这些专门构建的数据分析服务为客户提供了极致性能,客户在使用过程中不必在性能、规模或成本之间做出任何妥协。其中Amazon
    Redshift的性价比是其他企业云数据仓库的三倍,AQUA(分布式硬件加速缓存)使Redshift
    查询的运行速度比其他其他云数据仓库最高快10倍;Amazon
    EMR运行大数据处理及分析服务的成本不到传统本地解决方案的一半,但其速度比标准Apache Spark快3倍以上。

  3. 数据融合,统一治理。亚马逊云科技“智能湖仓”架构不止是打通了数据湖、数据仓库,还进一步将数据湖、数据仓库以及所有其它数据服务组成统一且连续的整体。在实际应用场景中,数据需要在这些服务与数据存储方案之间,以及服务与服务之间按需要在这些服务与数据存储方案之间,以及服务与服务之间按需来回移动,跨服务访问。亚马逊云科技“智能湖仓”架构降低了数据融合与数据共享时统一安全管控和数据治理的难度。其中,Amazon
    Glue 提供数据无缝流动能力,Amazon Lake Formation提供了快速构建湖仓、简化安全与管控的全面数据管理能力。

  4. 敏捷分析,深度智能。亚马逊云科技将数据、数据分析服务与机器学习服务无缝集成,为客户提供更智能的服务。例如Amazon Aurora ML、Amazon Redshift ML、Neptune
    ML等,数据库开发者只需使用熟悉的SQL语句,就能进行机器学习操作;Amazon Glue、Amazon Athena
    ML、Amazon
    QuickSightQ等,可以帮助用户使用熟悉的技术,甚至自然语言来使用机器学习,帮助企业利用数据做出更好的决策。用户还可以通过机器学习服务Amazon
    SageMaker、个性化推荐服务Amazon Personalize 等挖掘数据智能。

  5. 拥抱开源,开放共赢。亚马逊云科技“智能湖仓”架构中的关键组件如Amazon EMR、Amazon Elasticserach Service、Amazon
    MSK的核心都基于开源代码,接口与开源完全兼容,无需改变任何代码就可以实现迁移,也兼容主流的管理工具。OpenSearch基于开放的Apache2.0授权,其代码完全开放,用户可以免费下载使用并获得企业级的功能。这些服务允许用户在转型过程中,以非常低的改造成本向云端迁移。

阿里云

(1)企业简介

阿里云创立于2009年,是全球领先的云计算及人工智能科技公司,为200多个国家和地区的企业、开发者和政府机构提供服务。阿里云致力于以在线公共服务的方式,提供安全、可靠的计算和数据处理能力,让计算和人工智能成为普惠科技。2017年1月阿里云成为奥运会全球指定云服务商。
阿里云从2018年起就开始布局数据湖,推出了云原生数据湖分析Data Lake Analytics(DLA),从数据湖管理(帮助客户高效管理构建数据湖),Serverless Spark(提供高性价比的大规模计算),Serverless SOL(提供高性价比的在线交互式分析)三个方面帮助客户挖掘数据价值。

(2)产品介绍

阿里云数据湖是一个集中式存储库,可存储任意规模结构化和非结构化数据,支持大数据和AI计算。
云原生数据湖分析(Data Lake Analytics,简称DLA)是完全弹性的架构,提供一站式的数据湖分析与计算服务,支持ETL、机器学习、流、交互式分析;可以分析与集成对象存储(OSS)、数据库(PostgreSQL/MySQL 等)、NoSQL(Lindorm、TableStore、MongoDB等)数据源的数据。功能包括:数据入湖,元数据管理与自动发现,支持双引擎:SQL(兼容Presto)、Spark。云原生数据湖分析具有以下优势:

·Serverless。无基础设施和管理成本,零启动时间,透明升级,QoS弹性服务。
·数据库体验。兼容标准SQL、支持丰富的内置函数、JDBC/ODBC和BI工具。
·联邦查询。支持多种RDS数据库、OSS、Tablestore 等数据源之间关联分析。
·高性能引擎。支持双引擎,包括SQL(兼容Presto)分析、Spark计算服务。

数据湖构建服务(Data Lake Formation,DLF)作为云原生数据湖架构核心组成部分,帮助用户简单快速地构建云原生数据湖解决方案。数据湖构建提供湖上元数据统一管理、企业级权限控制,并无缝对接多种计算引擎,打破数据孤岛,洞察业务价值。
图表10阿里云原生企业级数据湖解决方案架构
在这里插入图片描述

华为云

(1)企业简介

华为云是华为公司倾力打造的云战略品牌,提供领先的公有云服务,包含弹性云服务器、云数据库、云安全等云计算服务,软件开发服务,大数据和人工智能服务,以及场景化的解决方案。
在HJAWEI CONNFCT 2019期间,华为云发布了新一代全场景智能数据湖,助力企业高效管理数据,挖掘数据价值,享受AI时代智能化给企业带来的红利。截至目前,华为云智能数据湖已广泛应用于金融、医学、物流、互联网、汽车、政府等行业。

(2)产品介绍

华为云新一代全场景智能数据湖包括三个核心的创新技术点。
在这里插入图片描述
一是统一数据存储、高效计算、智能加速。华为云智能数据湖实现一个平台一份数据支撑企业多角色协同工作,通过将CarbonData和对象存储服务OBS的技术结合,实现一份数据存储多场景应用。通过创新的多级别多维度的索引技术,能够让索引自适应调整,能够一份数据多个索引满足不同的场景,提升了10倍以上的数据存储IO性能。
通过CarbonData数据引擎,加速数据的访问和一致性,在业界领先的计算和存储分离架构下,通过支持弹性伸缩、分级存储、竞价实例等,成本可降低高达80%,同时在存储加速、缓存加速、计算引擎加速等多级加速技术支持下,性能高于自建100%。

二是数据+AI协同,自动学习,自动调优。通过将Al技术引入大数据引擎,实现自学习大数据引擎。在数据处理过程中,自动感知数据的特点,自动学习,并对大数据处理进行自动调优,进一步提升了大数据性能。

三是智能数据运营平台DAYU,加速企业敏捷创新。华为云DAYU是一站式的数据运营平台,希望为企业提供数据治理的敏捷可视、自助分析、快速开发、全局治理,并能对数据湖中的数据具备高效探索的能力,帮助企业实现数据“找得到,管得住,用得好”。
在这里插入图片描述
2.4腾讯云
(1)企业简介
腾讯云是腾讯集团倾力打造的云计算品牌,面向全世界各个国家和地区的政府机构、企业组织和个人开发者,提供全球领先的云计算、大数据、人工智能等技术产品与服务,以卓越的科技能力打造丰富的行业解决方案,构建开放共赢的云端生态,推动产业互联网建设,助力各行各业实现数字化升级。
近年来,腾讯云基于自身业务发展夯实了存储技术底座,在开放兼容的趋势中提升了存储产品能力。其中对象存储产品连续多年保持三位数以上速度增长,突破EB级存储规模,已经大步迈入存储+时代,为在线教育、社交电商等领域提供更全面的存储服务。
2020年12月20日,腾讯Techo Park开发者大会在京召开,在“存储加速度,海量存储创造无限可能”分论坛上,腾讯云发布了满足企业低成本、高效率存储需求的智能分层和深度归档两款存储产品方案。
(2)产品介绍
腾讯云数据湖解决方案主要借助COS构建数据湖,对象存储COS可存储任意规模的结构化、半结构化、非结构化数据,其提供12个9的数据持久性,实现计算与存储分离,发挥计算弹性伸缩能力,同时对存储数据冷热分层,是构建数据湖的首选存储服务。借助COS构建
的数据湖,可以无缝使用各类计算分析和机器学习平台,从而打破数据孤岛,洞察业务价值,指导客户做出更好的决策。
在这里插入图片描述
腾讯云数据湖解决方案具有以下功能特性:

  1. 多数据源支持。可对接多种数据源,允许存储任意规模的结构化、半结构化、非结构化数据,同时可以按原样存储数据。
  2. ·计算弹性。通过计算与存储分离,实现计算资源的弹性伸缩,满足客户对计算资源的灵活调度。
  3. · 成本最优。为集中式存储池,可快速扩展或缩减存储资源,实现存储数据冷热分层,降低大数据分析与机器学习存储成本。
  4. 服务集成。无缝支持腾讯云各类计算分析、机器学习产品,包括弹性MapReduce、流计算Oceanus、智能钛机器学习。

百度智能云

(1)企业简介

百度智能云是基于百度多年技术沉淀打造的智能云计算品牌,致力于为客户提供全球领先的人工智能、大数据和云计算服务。凭借先进的产品、技术和丰富的解决方案,全面赋能各行业,加速产业智能化。百度智能云为金融、城市、医疗、客服与营销、能源、制造、电信、文娱、交通等众多领域领军企业提供服务,包括中国联通、国家电网、南方电网、浦发银行、成都高新减灾研究所、央视网、携程、四川航空等诸多客户。
2020年5月18日,在ABC SUMMIT2020百度夏季云智峰会上百度CTO王海峰发布百度智能云全新战略。他表示,全新升级的百度智能云,融合云计算、百度大脑、大数据等百度核心技术,正在把人工智能输送到千行万业。

(2)产品介绍

数据湖管理与分析平台EasyDAP(简称EDAP),封装了数据从汇聚、管理、开发、分析及服务流程,屏蔽了大数据底层技术,提供简易的可视化开发操作界面,一站完成数据集成、数据管理、批&流数据开发、数据分析服务等。降低了数据资产构建和开发分析应用的门槛,帮助企业高效实现数据价值释放。此外,无缝对接主流大数据存储计算集群与百度云产品生态打通,可降低企业数据中台建设成本。·

  1. 全场景。数据集成、数据管理、数据开发、数据分析应用一站完成。
  2. 低门槛。拖拽式零代码数据集成、批&流可视化开发Studio、拖拽式作业编排和配置、多源即席联合分析。
  3. · 兼容开放。无缝对接主流大数据存储计算平台和云计算存储生态,丰富的开放API等。
  4. ·安全可靠。多租户资源隔离;行、列级数据权限管控、审计日志等

在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值