bigdata_flink
乔治大哥
脚踏实地,仰望星空。
展开
-
Flink 在小红书推荐系统中的应用
来源|阿里云峰会 作者|郭一 本文整理了,小红书推荐架构负责人郭一,在2019阿里云大会上的分享。介绍了小红书的产品和社区个性化的推荐需要的关键技术。然后对社区的数据技术分别从接入层,业务层,数据服务层和数据仓库层进行了概述。然后讲述了一个利用流计算引擎Flink给线上推荐提供用户行为实时的多维度聚合的业务实例。最后对小红书下一年的数据架构发展进行的展望。 ...原创 2019-12-01 21:02:02 · 848 阅读 · 1 评论 -
用 Flink 取代 Spark Streaming,知乎实时数仓架构演进【推荐】
“数据智能” (Data Intelligence) 有一个必须且基础的环节,就是数据仓库的建设,同时,数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲,数据的结果代表了用户的反馈,获取结果的及时性就显得尤为重要,快速的获取数据反馈能够帮助公司更快的做出决策,更好的进行产品迭代,实时数仓在这一过程中起到了不可替代的作用。 本文主要讲述知乎的实时数仓实践以及架构的...原创 2019-11-21 21:45:47 · 280 阅读 · 0 评论 -
日均百亿级日志处理:微博基于Flink的实时计算平台建设
作者介绍 吕永卫,微博广告资深数据开发工程师,实时数据项目组负责人。 黄鹏,微博广告实时数据开发工程师,负责法拉第实验平台数据开发、实时数据关联平台、实时算法特征数据计算、实时数据仓库、实时数据清洗组件开发工作。 林发明,微博广告资深数据开发工程师,负责算法实时特征数据计算、实时数据关联平台、实时数据仓库、FlinkStream组件开发工作。 崔泽峰,微博广告资深数据开发工程师,负责实时算...原创 2019-11-16 21:28:59 · 508 阅读 · 0 评论 -
Flink 流式计算在节省资源方面的简单分析
本文由小米的王加胜同学分享,文章介绍了 Apache Flink 在小米的发展,从 Spark Streaming 迁移到 Flink ,在调度计算与调度数据、Mini batch 与 streaming、数据序列化等方面对比了 Spark Streaming 和 Flink 的一些区别。 Flink 在小米的发展简介 小米在流式计算方面经历了 Storm、Spark S...原创 2019-11-08 21:38:04 · 665 阅读 · 0 评论 -
实时平台在趣头条的建设实践
原创:席建刚 本文由趣头条实时平台负责人席建刚分享趣头条实时平台的建设,整理者叶里君。文章将从平台的架构、Flink现状,Flink应用以及未来计划四部分分享。 一.平台架构 1、Flink 应用时间线 首先是平台的架构,2018年3月之前基本都是基于Storm和Spark Streaming来做的。目前,基本已经把Spark Streaming和Storm淘汰了,主要都是Flin...转载 2019-11-03 22:22:26 · 196 阅读 · 0 评论