喜讯!字节跳动基础架构计算团队两篇论文入选数据库顶会 VLDB

2023 年 8 月 28 日至 9 月 1 日,VLDB 2023 将在加拿大温哥华举行。字节跳动基础架构-实时引擎、流式计算团队研究成果分别被 VLDB 2023 接收,并受邀进行现场报告。

VLDB 会议全称 International Conference on Very Large Data Bases,是数据库领域历史悠久的三大顶级会议 SIGMOD、VLDB、ICDE之一,同时也是数据库领域杰出研究和发展成果的实时传播场所,反映了当前数据库研究的前沿方向、工业界的最新技术和各国的研发水平。VLDB 自 1975 年成立,每年吸引全球顶级研究机构投稿,对系统创新性、完整性、实验设计等方面都要求极高。

Krypton: Real-time Serving and Analytical SQL Engine at ByteDance

Krypton 是字节跳动基础架构-实时引擎,创新应用中心,存储-HDFS & NoSQL 团队共同合作研发的新一代面向复杂业务场景的实时服务分析 HSAP (Hybrid Serving & Analytical Processing)系统。在统一的数据存储之上,既能够满足用户高并发 (e.g. 百万 QPS),低延迟 (e.g. ~10ms)的在线 Serving 需求,也能满足用户对于海量数据的实时复杂分析需求。支持海量数据实时写入、实时更新、实时分析,支持标准 SQL(兼容 MySQL 语法),云原生架构(存储计算分离),用户使用门槛低,开箱即用。

StreamOps: Cloud-Native Runtime Management for StreamingServices in ByteDance

StreamOps 是由字节跳动基础架构-流式计算团队与新加坡国立大学计算机学院(SANE research group at Department of Computer Science, National University of Singapore)基于字节内部 10000+ Flink 流式任务管理实践提炼出的一个轻量级的流式任务运行时管理解决方案。它支持了流式任务的 AutoScaling、慢节点自动处理,以及延迟/故障诊断等功能,可以有效地降低用户流式任务的维护成本。

以上论文与现场报告将于8月底正式亮相 VLDB 2023。届时,字节跳动基础架构团队也将发布相关论文的对应解读文章,敬请持续关注。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
近似查询处理是数据库管理系统中的一种技术,它旨在在给定大规模数据集的情况下,以更高效的方式进行查询处理。VLDB Summer School是VLDB(Very Large Databases)组织举办的一项暑期学校,主要关注大规模数据库管理系统的前沿技术和研究。 在VLDB Summer School的近似查询处理讲座中,我们学习了如何使用近似算法和数据压缩技术来处理大规模数据集中的查询。近似查询处理的目标是在给定一定误差限制的情况下,以更高效的方式回答查询。这是因为在大规模数据集中进行精确查询可能非常耗时,甚至无法在有限时间内完成。 在讲座中,我们了解到了一些常用的近似查询处理技术,如基于采样的查询处理、数据压缩和基于统计的查询优化等。基于采样的查询处理技术使用随机抽样的方法来估计查询结果,从而减少查询的计算成本。数据压缩技术可以通过对数据进行压缩和编码,减少数据的存储空间和传输带宽,并在查询时能够进行解压缩和还原。基于统计的查询优化则使用统计信息来估计查询的结果,并根据估计结果进行查询计划的优化。 此外,在讲座中我们还学习到了一些近似查询处理的应用场景,如在大规模图数据中寻找社区结构、在数据挖掘任务中进行特征选择等。这些应用场景中,近似查询处理的技术可以帮助我们快速发现隐藏在大规模数据背后的有用信息。 通过参加VLDB Summer School的近似查询处理讲座,我们深入了解了近似查询处理技术的原理和应用。这对于处理大规模数据集的查询具有重要的意义,并且在实际应用中可以提高数据处理的效率和准确性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

字节跳动云原生计算

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值