精彩回顾 | DEEPNOVA x Iceberg Meetup Online《基于Iceberg打造实时数据湖》

VIP文章 已于 2022-04-22 18:37:45 修改
阅读量446 收藏
点赞数 1
分类专栏： 活动 文章标签： 大数据 数据库 apache
于 2022-04-21 18:29:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Deepexi_Date/article/details/124328476
版权

4月16日，由DEEPNOVA开发者社区与Iceberg社区共同推出的“DEEPNOVA MEETUP Online”活动顺利举行。

以《基于 Iceberg 打造实时数据湖》为主题，本次活动邀请了来自阿里云、网易数帆、滴普科技等企业技术专家，共同探讨Iceberg技术发展史及在国产化数据中的应用与实践，展望湖仓一体技术未来发展趋势与行业前景。

核心内容：

  1. Apache Iceberg过去、现状及未来
  2. 网易湖仓管理系统Arctic
  3. FastData DLink基于Iceberg 构建实时数据湖的优化与实践
  4. FastData DLink 对Iceberg索引的优化与实践
  5. 圆桌讨论：流批一体、湖仓一体的架构优势与业务价值

听众收益：

  1. 了解Apache Iceberg的架构原理、特性及应用场景
  2. 基于Iceberg实现不同功能的技术优化能力及其业务价值
  3. 开放的技术交流社区，与资深技术专家共同探讨湖仓技术

精彩照片：
在这里插入图片描述

最低0.47元/天 解锁文章
滴普科技
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
博客
创建Iceberg表的步骤——《DEEPNOVA开发者社区》
09-09 1036
本文讲述了不同引擎，主要是Hive、Spark、Flink和Trino，在创建Iceberg表上存在的兼容性问题及其产生的原因，然后给出了解决办法。最后，通过抽象一种创建跟引擎无关的Iceberg表的表示方法及其创建步骤。该方法的重要作用是能够实现通用的元数据管理。
博客
使用Hive SQL查询Iceberg表的正确姿势——《DEEPNOVA开发者社区》
08-26 469
Iceberg作为一种表格式管理规范，其数据分为元数据和表数据。元数据和表数据独立存储，元数据目前支持存储在本地文件系统、HMS、Hadoop、JDBC数据库、AWS Glue和自定义存储。表数据支持本地文件系统、HDFS、S3、MinIO、OBS、OSS等。元数据存储基于HMS比较广泛，在这篇文章中，表数据存储基于MinIO、元数据存储主要基于HMS。......
博客
报名中 | 滴普科技FastData2.0产品升级发布会
08-17 250
随着数字化的深入发展，企业内部数据呈现出大规模且多样性的增长态势，数据业务场景愈发复杂，需要面对海量大数据场景下的实时处理、非结构化数据治理等需求。滴普科技核心产品实时湖仓平台FastData，全面整合了从数据源、数据分析到数据价值实现的完整链路，帮助企业建立统一治理、流批一体、湖仓一体的云原生数据智能平台，实现海量数据实时分析。作为一种新兴的开放结构，湖仓一体平台既具备数据湖的灵活性，又具备数据仓库的易用性和规范性，同时拥有高性能的新型融合架构，有效解决企业建设数据平台过程中面临的挑战。.........
博客
Spark Catalog深入理解与实战——《DEEPNOVA开发者社区》
08-17 853
CatalogManager维护了所有Catalog实例的键值对信息，能够根据catalog名称返回对应的Catalog实例，其中有一个固定的名字叫spark_catalog，用于当前默认的Catalog实例实现，该示例就是V2SessionCatalog，它代理了普通的SessionCatalog，因此，在使用时，即使什么Catalog都不注册，Spark也会根据默认的Catalog实例加载Hive数据源。上面介绍了Spark Iceberg对多类型Catalog的支持，下一步自然要问，这有什么用？...
博客
fastjson的toJSONString()对于时间类的特殊处理源码分析——《DEEPNOVA开发者社区》
07-08 869
本篇文章是在项目迭代的过程中，发现了的一个有趣的bug所引发出来的源码分析，在这里以点破面，研究一下fastjson的源码
博客
hudi中zorder采样分区流程分析——《DEEPNOVA开发者社区》
07-08 737
hudi在数据聚集方面，支持使用zorder对数据进行重排。做zorder排序主要流程分为三步：-对于用户指定的每个zorder字段，生成对应的z值。-把所有zorder字段生成的z值进行比特位的交叉组值，生成最终的z值。-根据最终z值，对所有数据进行排序。在上面第一步中，每个字段生成自己的z值方式主要有两种：-直接的值映射方式。该方式实现简单，容易理解，但也有缺陷：参与生成z值的字段理论上需要是从0开始的正整数，这样才能生成很好的z曲线，但真实的数据集中基本不可能出现，那么zorde...
博客
数据湖常用查询优化技术——《DEEPNOVA开发者社区》
07-08 319
每个Iceberg文件的头部元数据信息中记录了当前文件每个列的最大最小值，比如下图中的parquet文件数据记录包含两列：year和uid，file1.parquet中列year的最大和最小值分别是2019和2018，列uid的最大和最小值分别是23000和12000。当我们进行查询select * from event where year=2019 and uid=20000因为这些元数据信息在数据写入文件时最终收集，因此在查询时候，很容易利用这些统计信息过滤掉不符合条件的数据文件。比如示...
博客
利用jemalloc解决flink的内存溢出问题
06-21 4886
遇到一个Linux系统 glibc内存分配导致的OOM问题，根源是内存回收出现问题，导致碎片太多，内存无法回收，系统认为内存不够用了。涉及到以下知识点：1、Linux中典型的64M内存区域问题2、glibc内存分配器ptmalloc2的底层原理3、glibc的内存分配原理（Arean、Chunk、bins等）4、malloc_trim对内存回收的影响......
博客
聊聊flink水位线
06-21 1135
flink中比较重要的是时间和状态，学习flink的过程中对水位线的理解一直模糊，经过一段时间的消化，在此总结总结。本文主要把水位线是什么，怎么来的，有什么用描述清楚。
博客
分析Iceberg合并任务解决数据冲突
06-21 1728
iceberg提供合并小文件功能，可以按照用户的配置文件，把多个符合配置的小文件合并成多个大文件。该流程主要是对源数据做了一次复制。但在实际生产环境中，数据是一直在变化的，有可能会出现这种情况：在还未完成数据合并任务时，对之前的数据做出了修改，这就导致正在合并的数据与新数据可能会产生冲突。那么iceberg是如何处理这种数据冲突的呢？...
博客
Hudi起源分析——DEEPNOVA开发者社区
04-25 431
1、概述Hudi（Hadoop Update Delete Incremental）官方介绍是为数据湖之上提供事务支持、行级别更新/删除（Row Level Update/deletes）和变更流（Change Stream）的一个数据湖框架，最早是由Uber开发于2016年，2017进入开源社区，并在2020年成为Apache 顶级项目。本文会从Hudi诞生背景条件出发，搞清楚Hudi最初是为了解决什么问题而出现的。2、近实时场景需求随着大数据技术的发展，逐渐发展出了两种比较成熟的计算模型：一种是
博客
Fiber 调度机制
04-08 1761
作者：温荣蛟上篇提到为了解决任务调度粒度控制不够的问题，React引入了Fiber架构。Fiber将一个DOM更新任务拆分为由多个原子化可调度的节点组成的集合，从而提供了细粒度的任务调度能力。Fiber这个名词并不是React的首创，和服务器端开发中的中纤程（Fiber）相同，后端开发中的纤程，也有着不同的名字，例如C/C++的协程、Java中的Loom（孵化中）、Go中的goroutine；这些不同名字的背后其实都是一个目的——通过线程复用降低线程的使用成本。操作系统提供了进程和线程供用户进行使用，
博客
【DEEPNOVA x Iceberg】基于 Iceberg 打造实时数据湖-线上meetup火热报名中
04-02 1931
扫描上图二维码，可直接报名参与线上活动。转发分享直播间邀约参与者，邀约榜前三名还可获得DEEPNOVA专属周边礼盒。快来报名吧！4月16日，DEEPNOVA 开发者社区联合Iceberg社区共同推出的“DEEPNOVA MEETUP Online”将正式举行，活动主题为《基于 Iceberg 打造实时数据湖》。DEEPNOVA 开发者社区是面向技术开发者的交流学习、生态共创平台。滴普科技一直积极拥抱开源生态，为Iceberg社区做出突出贡献。作为此次活动召集人，滴普科技 FastData 产品线总裁.
博客
Flink中基于Operator State 的计算开发方法
03-22 408
文：王东阳前言在Flink中根据数据集是否根据Key进行分区，将状态分为Keyed State和Operator State（Non-keyed State）两种类型 ，在之前的文章《Flink中基于KeyedState的计算开发方法》已经详细介绍了Keyed State的概念和用法，本文将继续介绍Operator State。Operator State与Keyed State不同的是，Operator State只和并行的算子实例绑定，和数据元素中的key无关，每个算子实例中持有所有数据元素中的一
博客
Flink中基于State的有状态计算开发方法
03-16 2335
文：王东阳前言状态在Flink中叫作State，用来保存中间计算结果或者缓存数据。根据是否需要保存中间结果，分为无状态计算和有状态计算。对于流计算而言，事件持续不断地产生，如果每次计算都是相互独立的，不依赖于上下游的事件，则是无状态计算。如果计算需要依赖于之前或者后续的事件，则是有状态计算。在Flink中根据数据集是否根据Key进行分区，将状态分为Keyed State和Operator State（Non-keyed State）两种类型 ，本文主要介绍Keyed State，后续文章会介绍Oper
博客
Flink temporal table join研究
03-07 2478
作者：王东阳前言ANSI-SQL 2011 中提出了Temporal 的概念，Oracle，SQLServer，DB2等大的数据库厂商也先后实现了这个标准。Temporal Table记录了历史上任何时间点所有的数据改动，Temporal Table具有普通table的特性，有具体独特的DDL/DML/QUERY语法，时间是其核心属性。历史意味着时间，意味着快照Snapshot。Apache Flink遵循ANSI-SQL标准，Apache Flink中Temporal Table的概念也源于ANSI
博客
Flink、Iceberg和Hive的Catalog比较研究
02-28 2218
所谓Catalog即数据目录，简单讲，Catalog是企业用于管理数据资产的方式，Catalog借助元数据来管理数据，包括数据收集、组织、访问、发现和治理。可见，Catalog在数据资产管理中处于核心位置。元数据本身内容非常丰富，包括技术元数据、业务元数据和操作元数据，本文仅仅研究大数据计算存储框架本身的技术元数据，比如数据库、数据表、分区、视图、函数等。限于篇幅，参与比较的计算存储框架为Flink、Iceberg和Hive，比较维度为Catalog的定义、Catalog的实现和生态拓展几个方面。Cata
博客
Flink 流式写入Iceberg实现原理
01-27 2728
Iceberg作为凌驾于HDFS和S3等存储系统之上的数据组织框架，提供了数据写入、读取、文件管理和元数据管理等基本功能，虽然Iceberg提供了丰富的API接口，但是面向API开发需要使用方比较了解其原理和实现细节，还是显得门槛过高。此外，在面向实时数据读写场景，需要有一个桥接框架来自动完成数据的读写，于是Iceberg和Flink成为天作之合，本文就来研究下Iceberg是如何跟Flink对接的。Flink写入Iceberg总体流程介绍Flink典型的数据处理链路是Source->Transf
博客
Go Rust 排序和二分搜索的对比
01-14 381
作者：王东阳前言在计算机科学中，排序和二分搜索是非常常见的一种算法，在上篇文章leveldb memdb源码分析(下)之Rust实现篇中，就可以看到里面很多方法都用到了二分搜索来实现。本文将会对比 Go 和 Rust 语言中排序和搜索方法中的一些特性和不同，对于Go主要使用数字切片 []int 作为例子， 对于 Rust 主要使用 Vec 作为例子 。排序在Go语言中，对于 []int 我们可以直接使用 sort.Ints 进行排序如下：func sort_simple() { a := []i
博客
一种基于Flink Window的实时指标统计方法
12-31 1567
需求背景假设有一种数据源（比如CDC binlog Events、Kafka 实时数据流等），需要实时展示时序数据的摄入数量趋势，并能查看任意时间范围内的数据分布质量（比如每个字段的数据密度、总取值数量、去重后的数据取值总量等），最小时间范围间隔为1分钟，最大范围不限制。展示样例见下图，如何在计算资源有限的情况下（不使用分布式MPP查询引擎等），在可接受的时间内给出响应。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-A6zp0oAC-1640934270369)(/Use

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值