Azure Databricks为基础!资料科学分析团正式成立

IDC在全球资料趋势白皮书「Data Age 2025」预测,2025年全球新增资料量将达175 ZB,成长主力来自影像监控、物联网(IoT)装置数据、诠释数据(Metadata)和生产力数据。Gartner在小型调查里也发现,高达66%的受访者期望在2020年之前部署5G,主要需求在于物联网、通讯和视讯应用。换言之,对企业组织而言,数据量及来源早已不成问题,主战场将是分析及应用,但随着新兴服务带来的大量串流资料,这也是目前最为棘手的领域。尤其当前人工智能水涨船高,即使引进机器学习、深度学习等新技术,要在有限时间处理解析异质管道、源源不断的巨量资料,并转化为助力企业的决策或行动,仍然形同不可能的任务。源于Apache Spark的Databricks采用Spark丛集运算架构,则以独特的内存内运算机制,提供比Hadoop更快100倍的速度,最适合用来处理大量而复杂的数据运算。也正因为如此,Apache Spark和Microsoft连手打造的Azure Databricks,成为链接数据科学与企业AI工具的最佳桥梁。

服务整合、协同合作的先进分析平台

Azure Databricks是针对Azure云端服务平台进行优化的Azure Spark分析平台,透过一键式设定、顺畅工作流程、交互式工作区等快速又简单的特性,为数据科学家、数据工程师、企业分析师提供前所未有的协作环境。举例来说,交互式工作区可让团队成员在共享项目进行共同作业和批注。此外,Azure Databricks支持多种语言和链接库如Python、Scala、R、Java和SQL,连MLlib、GraphX也涵盖在内,企业团队以现有技能即可展开项目建置。更重要的是,Azure Databricks独具与Azure服务无缝整合的多重优势。首先,在安全性和可靠性部分,Azure Databricks可享有Azure提供的企业级安全机制和服务等级保证(SLA),例如:整合Azure AD进行单一登录。在数据服务部分,Azure Databricks可轻松整合各种数据存放区,包括Azure SQL数据仓储、Azure Cosmos DB、Azure Data Lake Storage、Azure Data Factory和Azure事件中枢,以及互动数据视觉效果工具Power BI,可望强化对数据仓储和实时分析的支持。

 

时、地、物的整合分析与决策,年省数千万美元

举例来说,壳牌公司(Shell)在全球石油和天然气产业稳居领导地位,由于旗下许多作业地点交通不便,因此全球据点皆保存大量备用零件以确保运作不中断,但这些价值高达10亿美元、多达3000种以上的备用零件也造成库存和供应链管理的严峻挑战。壳牌公司以Databricks建立云端原生的统合分析平台,相较于原先已大幅提升性能的内部服务器,库存分析及预测的模拟运算时间从48小时大幅缩减为45分钟,同时节省了投资基础架构的TCO,提升运作效率和敏捷度。此外,单一的交互式工作空间强化了团队的协同合作,成员可同时对相同数据或模型进行作业,自动化的分析工作流程则可轻松预测零件的采购时点、存放期间及存放地点。壳牌公司在全球部署以Databricks打造的库存优化工具,每年可节省数千万美元的费用。

 

戴姆勒汽车公司(Daimler)则是将大数据平台从内部机房全面移转到Azure云端,目前有高达九成的分析应用都是采用Azure Databricks和HD Insights来执行,该公司更规划透过自助服务工具,将AI与分析服务推广给更多一般使用者。放眼全球产业,絶大部分都已化身数据管理者的角色,从金融服务、医疗保健、零售到制造,甚至是媒体和娱乐产业都包含在内。运用Azure Databricks,则能协助这些产业打造现代化的数据仓储,执行先进与实时分析,加速落实大数据和人工智能应用,并转化为实质的经营成效。

转载于:https://my.oschina.net/u/4024424/blog/3026374

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值