【遇见Doris】Apache Doris (incubating) 0.11.0新版本预览线下沙龙

此次Doris有幸得到中国信通院云大所大数据技术标准推进委员会支持,在中国信通院举行了0.11.0新版本预览线下沙龙。同时我们也有幸邀请到了来自一点资讯、京东、搜狐、百度智能云的技术大牛带来他们的应用实践和开发分享。


现场视频和嘉宾PPT会在近日放出,欢迎大家关注Apache Doris(incubating) 官方公众号。


8a98da62-9307-4b85-bb8f-f86d774755d6.jpg


Apache Doris (incubating) 0.11.0


此次Doris 主创团队李超勇带来了0.11.0 版本的功能预览。


2037a414-19ea-4783-8214-3b154265f240.jpg

本次Doris带来了如下更新:

  • 对Doris的存储引擎进行了重构与优化

  • 打通Spark和Doris

  • SQL支持Grouping Sets语法

  • 支持读取Parquet文件格式

  • 新增空间几何函数


京东广告平台


来自京东刘航源带来了本次618的捷报。大促刚过,在大家疯狂剁手的背后,Doris支撑了大促期间广告平台的报表业务,为每一位广告主带来了平稳的在线服务。


0633836b-ae02-46df-b70a-c1a9c35900f1.jpg


稳定高效,是航源对Doris在618大促期间表现的概括。


f7fb8d4a-ae16-4fa6-87dc-0502cf283333.png

一点资讯


来自一点资讯王迎信是自媒体平台的资深研发,他不仅对选型进行了详细介绍,同时介绍了在Nebula框架下Doris的应用方式。


bc4b0206-3fcc-4892-9be2-3977d0cbe889.jpg


从数据的接入、汇总到分析,一点资讯自媒体基于Nebula搭建了数据平台,Doris也承载了其中的一部分。迎信提到,Doris出色的join查询表现,迅速的响应、较低的运维和学习成本,都成为一点资讯选择Doris的原因。


eb2b43df-f10b-472d-8bae-508db03bddf8.png


搜狐


来自搜狐徐小冰是Doris的contributor,搜狐团队为Doris贡献了读取Parquet文件的功能,该功能将在0.11.0版本正式上线。


991bef5a-0b50-4d78-81c4-0560bf3422ae.jpg


小冰详细介绍了读取Parquet文件的功能设计与实现,解决了Doris只支持CSV格式的痛点,大大提高了数据读取效率。


201110a9-af3c-44e4-9742-43bb855783c7.png


百度智能云


最后,来自百度智能云朱良昌带来了Spark Streaming对接Doris的设计与实现。


1a6b3323-717c-4119-83a4-c43856b95519.jpg


良昌提到,由于业务需求驱动,有很多业务方希望可以通过spark streaming即structured streaming来读取上游例如kafka, hdfs, database的数据,实时导入Doris进行查询分析。


百度智能云流式计算团队为此专门开发了名为“Doris Sink”的组件来适配Doris。Doris Sink不仅实现了exactly-once语义,还封装并对用户屏蔽了与Doris的交互细节,用户只需要关注计算细节和用户逻辑,即可非常方便的将流式数据导入到Doris中。


e0116aa0-287a-4b71-ab36-c7b3cb0a35ad.png


精彩花絮

活动现场

8a8abeac-b75f-4fd3-b235-b12c9fdcdbb7.jpg


惊喜大奖

d4c5fac8-61b8-4c6a-84a5-df1de6a895ca.jpg


精美茶歇

0dbddb54-be03-4fa6-8608-9fe4414cd1d4.jpg

f6cb1b75-3f53-48d9-af09-f69e47a458bc.jpg

ef5220dd-b91a-42d1-8322-1f3dac6b919c.jpg


最后,全家福

15943631-ec34-4d22-8fbf-1ef78b3899f8.jpg


祝愿Doris社区越来越繁荣,有更多新伙伴加入我们!


活动视频及嘉宾演讲PPT将陆续放出,欢迎关注Apache Doris (incubating) 官方公众号。




欢迎扫码关注:

541a419b-19de-44d3-b4ac-8c65a5aaa9b7.jpg

Apache Doris(incubating)官方公众号


相关链接:

Apache Doris官方网站:

http://doris.incubator.apache.org

Apache Doris Github:

https://github.com/apache/incubator-doris

Apache Doris Wiki:

https://github.com/apache/incubator-doris/wiki

Apache Doris 开发者邮件组:

dev@doris.apache.org



本文分享自微信公众号 - ApacheDoris(gh_80d448709a68)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Apache Doris(孵化器项目)是一个开源的分布式实时数据仓库,旨在提供高性能和可伸缩性的数据分析和报告能力。它的主要原理和实践如下: 1. 列式存储:Apache Doris使用列式存储来存储数据,即将每列的数据分开存储在不同的文件中。这种存储方式有助于提高数据的压缩率,减少存储空间的占用,并提高数据查询的效率。 2. 分布式架构:Apache Doris采用分布式架构,将数据分片存储在多个节点上,以实现数据的水平扩展和负载均衡。每个节点都有相同的数据副本,确保数据的高可靠性和容错性。 3. Write-optimized:Apache Doris采用了“write-optimized”(写优化)的设计理念,即将写入操作的性能优化至极致。它使用了基于LSM树(Log-structured Merge Tree)的数据结构,将写入操作顺序化和批处理,大大提高了写入性能。 4. 计算与存储分离:Apache Doris将计算和存储分离,通过多个计算引擎(如Palo,Spark)对数据进行分析和查询。这种架构允许根据需求进行灵活的扩缩容,并提供了多种数据接入和导出方式。 在实践中,可以按照以下步骤使用Apache Doris: 1. 安装和配置:首先需要下载和部署Apache Doris,然后进行相关配置,包括节点的IP地址、端口号、数据存储路径等。 2. 数据导入:将数据导入到Apache Doris中,可以通过多种方式,如使用ETL工具、使用JDBC驱动程序或通过API进行数据导入。 3. 数据模型设计:根据需求设计数据模型,包括表的结构、字段名和数据类型等。 4. 数据分片和分布:根据数据量和负载要求,将数据分片存储在不同的节点上,并确保数据的均衡分布。 5. 数据查询和分析:使用SQL语句对数据进行查询和分析,通过连接计算引擎对数据进行处理和计算,并根据需要生成相应的报表和图表。 6. 集群监控和管理:通过监控工具对集群进行实时监控,包括节点的状态、负载情况和性能指标等,及时发现和解决问题。 总之,Apache Doris通过列式存储、分布式架构、写优化和计算与存储分离等原理,提供了高效可靠的数据分析和报告能力。在实践中,可以根据需求进行安装配置、数据导入、数据模型设计、数据查询和分析,以及集群监控和管理等步骤。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ApacheDoris

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值