科技前沿
LUK流
大数据/java web
展开
-
腾讯Oceanus实时计算平台架构设计---学习总结
一、背景实时计算应用主要分为以下四类:(1)ETL:ETL应该是目前实时计算最普遍的应用场景。例如在TDBank的数据链路中,TDSort读取消息缓存系统Tube中的消息,通过流数据处理系统将消息队列中的数据进行实时分拣,并落地到HDFS接口机集群,并将最终分拣后的数据由加载到TDW中。(2) 监控系统: 监控系统需要能够对产品和服务进行多维度的监控,对指标数据进行实时的聚合和分析,并支持...原创 2019-04-16 13:51:23 · 6706 阅读 · 1 评论 -
TalkingData基于Flink搭建实时个性化营销平台---学习总结
1.为什么是FlinkFlink 可以支持本地的快速迭代,以及一些环形的迭代任务。Flink 可以定制化内存管理,相对于 Spark,Flink 并没有将内存完全交给应用层。而在业界比较常见的三款流式计算框架(SparkStreaming、Storm、Flink)中,我们选择了 Flink 的原因有以下几点:首先业务需求需要对事件(用户行为)提供实时的响应(毫秒级),对低延迟的要求比较高...转载 2019-05-02 15:56:17 · 933 阅读 · 0 评论