腾讯第四代数智融合计算平台,哪里不一样?

前方高能:

• 算力弹性资源池已达500万核

• 每日分析任务数已达1500万

• 每日实时计算次数已超过65万亿

• 日接入消息量超过55万亿

上面这一个个数据,足以让一个大数据从业者肾上腺素飙升。能够产生、并有能力处理如此海量数据的,自然就是腾讯这样大型的互联网公司。

从“几百个节点”,到65万亿次日实时计算,中间经历了四代大数据平台演进,才达成了今天的成就。

没有哪家公司能够像腾讯大数据这样,经历如此快速的爆炸式数据增长。

没有什么比数据安全更重要

随着信息技术的快速发展和个性化服务的不断演进,数字化企业在服务用户过程中积累了海量数据。

隐私信息保护短板效应、隐私侵犯追踪溯源难等问题越来越严重,致使现有的隐私保护方案不能提供体系化的保护,大大小小的隐私泄露案例层出不穷。

国内大数据行业知名上市企业数据堂,涉嫌侵犯数百亿条公民个人信息,累计传输数据压缩后约为4000GB左右!

洞察需求 不断升级的平台

而在企业,伴随着云和大数据的发展,内部也产生了诸多数据。如果要想发挥数据的价值,涉及到数据存、管、用、备份、安全、智能分析等等环节,尤其是当跨云、跨公司、跨行业进行数据挖掘时,隐私了最重要的问题。

这个悖论就是,谁都想发挥数据的价值,谁又不想丧失数据的主权,并且掌握数据的隐私问题。

这就是业内一直寻求的平衡问题。

而腾讯大数据平台一直以用户需求为导向,结合业内的技术趋势,不断升级新产品,成为业内的领导者之一。早在2009年,第一代平台以离线计算为主要模式化;2012年,平台进入以实时计算为特色的第二代,以Spark/Storm为代表的实时计算处理框架为代表;2015年,腾讯大数据进入第三代,从0到1自研了机器学习框架Angel,意味着整体大数据平台进入机器学习时代。

面对如今数据隐私、数据安全的挑战,腾讯大数据从两个方面入手,给出了自己的解决之道。

首先是在理论层面,腾讯发布《腾讯隐私计算白皮书2021》,希望与业界共同探讨、推动隐私计算技术产业的发展,寻求在数字治理中发展和安全的平衡点。

接着在落地层面,在4月18日召开的“腾讯大数据高峰论坛”上,腾讯正式发布自研第四代数智融合计算平台“腾讯大数据-天工”,进一步应对业内难题和挑战。

“腾讯大数据-天工”是什么来头?

“腾讯大数据-天工”平台,是在最新的“数据协同、技术互通、平台大脑”技术理念基础上诞生的,为的是解决以下三个问题:

首先,就是我们上面提到的隐私计算,核心产品是Angel PowerFL安全联合计算平台。

该平台采用自研隐私计算技术,从机器学习到大数据分析为各个场景提供全方位保护,去中心化的架构则能避免单点隐私泄露风险。将数据安全作为开山大炮,打破数据孤岛实现数据协同。

目前Angel PowerFL可以支持千亿级规模的海量数据训练,性能参数领先业界5倍!在此基础上,提供3072bit业界最高强度加密和TEE硬件双保险,最大限度确保数据安全。

这里面不得不提到几个技术名词:隐私计算和联邦学习。这是近年来业内面向数据隐私而诞生的新技术,用技术的方式实现了数据安全但又达到了数据共享和使用的目的。腾讯早在几年前开始研究该技术,并做到业内领先。

其次,“腾讯大数据-天工”的平台大脑实现万亿级数据分析的“自动驾驶”,从离线计算、实时计算,机器学习,到大数据智能化,四代大数据平台正在一步一步的,向着实现万亿级数据分析的“自动驾驶”迈进。

如今,从快速发现大数据运行问题到主动发现问题,再到主动解决问题,平台大脑预计可让数据中心研发效率提升60%,运营效率提升50%,平台服务质量提升80%。

最后,则是实现大数据和人工智能的融合。大数据和人工智能技术在本质上,有很多相通之处。“腾讯大数据-天工”通过解决大数据和人工智能计算框架的统一,从而更好地适配CPU、GPU、NPU、FPGA等硬件。

数和智一旦能够融为一体,那就真的是广阔天地大有作为了。

最终,在确保数据安全的前提下,真正实现万亿级数据分析无人“自动驾驶”,进而推动大数据和人工智能技术融合为一,引领全球大数据计算进入下一时代。

推动产业数字化转型

腾讯数据平台部总经理蒋杰提到,通过“腾讯大数据-天工”的隐私计算,可以解决现在数据融合过程中的一些不可控的风险。

蒋杰还提到,希望把腾讯看做是一个开放的、去中心化的、撮合的平台,并且也希望和业态共同推进隐私计算等新技术的发展和落地,共同帮助企业利用好数据。“让我们从技术层面来实现跨平台、跨行业的隐私的界定和使用,具有一定的实操性,比如打击黑五类等,使得打造一个可信的数据流通的基础设施生态,成为可能。”

中国信息通讯研究院云计算大数据研究所副所长魏凯认为,隐私计算将使得跨层级、跨地域、跨系统、跨部门、跨业务的协同管理和服务的实现,成为可能。

比如,某大型金融服务机构通过Angel PowerFL进行联邦建模,提升金融风控效果;某广告平台通过Angel PowerFL进行联邦推荐模型建模,提升精准推荐效果。由此可见,在政府、金融、消费领域对隐私计算的需求旺盛,希望借助腾讯大数据平台的技术推进业务发展,提高竞争力。

腾讯第四代数智融合计算平台“腾讯大数据-天工”无疑将持续引领全球大数据计算走上安全、统一、智能的新征程。后续也将发布更多新的产品和解决方案,不断将大数据领域做深、做宽,进一步帮助客户数字化转型。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值