BigQuery 是什么?大数据时代一定要认识的最强资料分析工具

BigQuery 是什么?在这个强调大数据分析的时代,BigQuery 为何能享有"地表最强资料分析工具"的称号?这次 Cloud Ace 将彻底比较 BigQuery 和传统资料仓储,从速度、费用和技术门槛等方面切入,带大家认识这个由 Google 推出的强大云端资料仓储服务

BigQuery 的最大优点是速度

BigQuery 以前在 Google 内部使用时叫做 Dremel,后来随著 GCP 问世,它才以 BigQuery 为名被正式推出。那它到底有多快呢?下面这张图相信可以让大家清楚理解。

图中,总共4TB的资料,使用需要消耗大量资料的模糊比对语法,以及复杂的 Group By 和 Order By 语法,大家注意看右下角的数字,会发现竟然只要23秒就能分析完成!

那现在我们回想一下,自己目前使用的资料仓储或是分析工具有没有像他如此强大?是不是常要跑个2小时,而这段时间也不能做其他事,就是去喝杯咖啡再回来看结果。万一分析的命令下错,这2小时可能就白白浪费掉了!

BigQuery 真的比传统资料仓储好?4大面向完整评比

通过上面的介绍,相信大家都认识到 BigQuery 分析的快速,但它被称为地表最强资料分析工具当然不只是因为速度快!所以下面我们会从4种不同角度,将传统资料仓储的一些特性与 BigQuery 来做一个完整的比较。

资料仓储系统比较面向1:软硬体设备

传统上我们通常是在公司内部建置机房,然后花大量的金钱购买软硬体设备后再进行软硬体的安装。而这整套流程从开始到分析资料,可能已经过了大半个月。但如果直接使用无伺服器的 BigQuery,我们只要上传 CSV 格式的资料就可以马上开始分析,在速度上绝对是远远超过传统的资料仓储的!

资料仓储系统比较面向2:技术门槛

大部分资料分析人员可能原本就从事资料库相关的,所以本身就会一些 SQL 语法。但为了分析资料可能要再学 Python、R,或是 BI 相关的技术,这些都是隐形的学习成本。但使用 BigQuery,我们只要会标准的 SQL 语法就可以立即开始分析资料,直接现省额外学习的时间和金钱。

资料仓储系统比较面向3:资源扩充

我们使用传统工具来分析资料时,如果资源不够就必须额外再花钱去採购软硬体来加强分析效能。但如果用 BigQuery,这些事情通通都不用做!因为 BigQuery 会把分析工作交给资料中心内的数十台或数百台机器同时运算,完成后再快速汇总起来交到我们手上。所以整个过程我们只要等待即可,不需要花时了解他到底是怎麽做到的。

资料仓储系统比较面向4:费用成本

若我们选择传统的软件分析工具,一开始建置可能就要花几十甚至几百万,但是未来到底会用到多少,这是不确定的,我们可能会碰到资源不够或买太多造成闲置浪费的问题。但 BigQuery 因为是以使用量为基础,根据每个月分析的资料量来计费,所以能帮我们避开上述问题,有效节省成本!

举例来说,有时候一个月内分析很多资料付了1万元,但两个月后又没有分析的需求,这样是不用再付费的!如此一来我们就不用在一开始就花费大量金钱,让花费的管理更具弹性,减低财务上的负担。

根据上述的对比,可以得出BigQuery的优点为: 简单快速管理少,弹性灵活BigQuery

另外再补充一下,大家如果担心每次 Query 整张表格成本太高,可以建立分割表 Partitioned Table,以日期做 Where 条件就不会 Query 整张表格,可以有效节省大量成本。

以上就是利用 BigQuery的优势介绍,如果有任何问题,请在文章下方留言讨论。

官网:https://cloud-ace.cn/

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值