【遇见Doris】寒冷冬日的一次温暖相聚 · Doris开发者沙龙

090a0897-3f16-4e08-a95d-4f0efd7e3314.gif


2019年12月22日,Doris本年度最后一场线下沙龙在百度大厦顺利举办。本次邀请了来自美团、京东、百度的技术大牛来分享实战经验,快来跟随小编一起回顾吧!

bd3cf50a-54fe-4126-af3f-28fef8c25531.jpg


获取嘉宾ppt请关注Apache Doris(incubating) 官方公众号,并回复1222, 现场视频会在近日放出,敬请期待。



Apache Doris (incubating) 0.12.0


此次沙龙由Doris主创团队的黄康平带来了Doris 0.12.0的新版本预览。

9ce6fa67-e762-4aa0-93ac-40e2970d3746.jpg


在新的版本中,Doris实现了基于page的列式数据存储,引入行号索引、词典压缩、page cache机制。 存储效率和读写性能又双叒叕提升啦,期待不期待!


不仅如此,一直备受关注的Spark on Doris功能也将在这个版本中和大家见面。打通Doris和Spark/Hadoop社区生态,势在必行!


美团点评 · 基于Bitmap的精确去重和用户分析


来自 美团点评 Doris Committer康凯森 带来了Doris基于Bitmap的精确去重和用户行为分析。

f7d34f13-af9f-41bb-9a37-4357ebbc7c02.jpg


凯森提到,随着数据规模及实时性的提升,我们应该优先考虑近似算法,但与财务、业绩等相关的业务必须要求精确。而基于Bitmap,可以使精确去重更加高效。
同时,凯森也带来了基于Bitmap计算交集,以高效支撑用户行为中的留存、画像及漏斗分析的相关分享。


京东 · Apache Doris在京东11.11的实践


来自 京东 Doris Contributor 刘航源 带来了双11的捷报。此次Doris在京东双11大促阶段服务非常稳定。 双11当天24小时内支撑了平时100倍以上的原始数据导入,均可做到秒级延迟。

881a5d6c-1b6c-42ff-889c-182e4c31f440.jpg


同时,京东仅仅使用了 40台16核的Docker ,支撑了 每天8000万以上的查询 。TP99达到58ms,TP999达到164ms。


不仅如此,京东研发了WebServer的功能,并准备贡献给社区,大家一起来期待一下~


百度 · 百度商业大规模服务全链路监控


来自 百度 李奇原 带来了Doris在百度商业大规模微服务全链路监控系统——凤睛项目中的应用。

5df48ef3-eea4-4c3c-9783-7e99c442cc3a.jpg


凤睛是百度凤巢的监控系统。凤巢的产品线繁多,关系复杂,而凤睛需要通过7*24小时的工作,来自动化完成所有的监控分析任务。稳定,高效,是凤睛最重要的要求。


基于Doris设计的倒入和存储方案,凤睛在2019年的数据倒入量达到150亿/天,峰值流量 300万条/s,峰值流量50M/s,存储总量300T且大大降低了人力运维成本。


Spark on Doris · 基于百度数据工厂Pingo


来自百度数据工厂Pingo团队的 张文歆带来了Sp ark on Doris的技术方案,他同时也是Doris的 Contributor

3e5c3347-e19f-4ed6-bf30-d09697896f1f.jpg


Pingo是基于Spark的数据工厂,秉承着数据湖的概念,在百度内提供离线的计算服务,同时在公有云及私有化场景下服务了众多外部客户。解决组件繁多、运维复杂、对接困难、认证鉴权等问题,是Pingo的初衷。


为了更好的对接更多数据源,同时也为了Doris能够更好地和Spark生态融合,Spark on Doris势在必行,文歆详细介绍了技术方案的实现。


新一代的数据科学 · Jarvis


最后,给所有来宾带来了一个小彩蛋。由百度数据科学团队的资深专家杨嘉义,分享了数据科学领域最新的探索。当云计算越来越普及,当单机计算存储不再是瓶颈,数据科学领域是否会有新的方向?

46b6d16e-ef35-4a62-b35c-8590397b433c.jpg


嘉义提到,预置的解决方案、易用的开发环境、高性能的计算引擎是新一代数据科学平台的核心。基于这些核心打造的数据科学平台Jarvis,致力于在单机引擎上带给数据科学家极致的开发体验。
67bd1723-c69c-4ee7-b84e-da9680b09938.gif

最后,全家福

5582ca40-9838-4e0e-afff-da9aeec3df92.jpg


祝愿Doris社区越来越繁荣,有更多新伙伴加入我们!


获取嘉宾ppt请关注Apache Doris(incubating) 官方公众号,并回复1222,现场视频会在近日放出,敬请期待。




欢迎扫码关注:

46c3b68c-e544-42d5-8320-dedd3a741f02.jpg

Apache Doris(incubating)官方公众号


相关链接:

Apache Doris官方网站:

http://doris.incubator.apache.org

Apache Doris Github:

https://github.com/apache/incubator-doris

Apache Doris Wiki:

https://github.com/apache/incubator-doris/wiki

Apache Doris 开发者邮件组:

dev@doris.apache.org

本文分享自微信公众号 - ApacheDoris(gh_80d448709a68)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ApacheDoris

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值