与Shopee实时计算负责人聊聊湖仓一体

导读:2022年7月22-23日,第8届GIAC全球互联网架构大会将于深圳举行。GIAC是面向架构师、技术负责人及高端技术从业人员的年度技术架构大会,是中国地区规模最大的技术会议之一。今年GIAC邀请到了众多布道师、明星讲师以及105位来自阿里、腾讯、字节跳动、美团、微博、商汤、华为、快手、哔哩哔哩、声网、微软、Shopee、亚马逊等公司专家出席。

在大会前夕,高可用架构采访了本届 GIAC湖仓一体专场讲师、来自新加坡电商平台Shopee的邓林,就目前大家广泛关注的湖仓一体技术以及大数据相关的问题进行了访谈。

邓启明:邓林老师您好,很高兴能采访到您,请简单介绍一下自己。

邓林:我 2012 参加工作,一直在进行大数据平台和引擎相关的开发工作。曾经参与离线任务调度系统和数据 Ingestion 系统的建设,目前主要从事基于 Flink 的实时计算平台的建设工作。在这个过程中,见证了 Hadoop 三件套在企业数据平台领域的强势崛起,经历了流式数据处理从小范围试用到企业数据处理的核心范式的风雨历程。对于流批一体融合,并结合湖仓一体技术对企业数据处理的再一次革新有非常大兴趣。

邓启明:能否分别简单介绍一下数据湖和数据仓库,以及它们对应的技术栈?

邓林:相对于传统的数据仓库来说,数据湖所涉及到的数据边界、数据内容都有了很大的扩展。它的出现使得数据的时效性、内容的多样性和业务场景的丰富度都有了天翻地覆的变化。数据仓库技术和数据湖技术都是为了企业的数据得到良好的管理和使用,所以在这个根本需求上,数据湖技术是对数据仓库技术极大的补充。

传统的数据仓库技术栈面向 SQL 的结构化数据,所以它的实现更多是以传统的数据库为核心,或者是以 Hiv

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值