大数据之Flink
学习 总结 笔记
白眼黑刺猬
技术分享 ,线上线下授课
微信 17710299606
展开
-
Niubility (分享二) bilibili 实时平台的架构与实践
一、实时计算的痛点 二、Saber的平台演进 三、结合AI的案例实践 四、未来的发展与思考 一、实时计算的痛点 1.痛点 各个业务部门进行业务研发时都有实时计算的需求。早期,在没有平台体系做支撑时开发工作难度较大,由于不同业务部门的语言种类和体系不同,导致管理和维护非常困难。其次,bilibili 有很多关于用户增长、渠道投放的分析等 BI 分析任务。而且还需要对实时数仓的实时数据进行清洗。此外,bilibili 作为一个内容导向的视频网站,AI 推荐场景下的实时计算需求也比...原创 2020-06-20 22:23:14 · 3488 阅读 · 0 评论 -
Flink详细笔记(七) 流式处理 术语解释 Exactly-once与Effectively-once
分布式事件流处理已逐渐成为大数据领域的热点话题。该领域主要的流处理引擎(SPE)包括 Apache Storm、Apache Flink、Heron、Apache Kafka(Kafka Streams)以及 Apache Spark(Spark Streaming)等。处理语义是围绕 SPE 最受关注,讨论最多的话题之一,其中“严格一次(Exactly-once)”是很多引擎追求的目标之一,很多 SPE 均宣称可提供“严格一次”的处理语义。 然而“严格一次”具体指什么,需要具备哪些能力,当 SPE 宣称原创 2020-06-14 15:22:40 · 3158 阅读 · 1 评论