【大数据-课程】高途-天翼云侯圣文-Day3-实时计算原理解析

〇、老师及课程介绍

 

 一、今日内容

 

二、实时计算理论解析

1、什么是实时计算

微批处理、流式处理、实时计算

 水流和车流的例子

spark streaming就是一种微批处理,水满了才处理,进入下一个地方

流式计算:没有等待

深入:红绿灯交替的场景是微批处理,就不是流式计算了

水流的场景是流式计算时:直饮机,自来水直接可以饮用,出水的过程没有停一停等一等

其他:水流、视频流、

2、数据处理的四大概念

 实时:微批处理或流式处理,20%,要求高,trouble shooting比较难

离线:80%的工作量

3、实时处理的价值

例如:送餐

4、应用场景:风控、欺诈、反欺诈

三、批处理框架比较

1、三种框架

2、storm发展历程

storm基于推特的storm自研产生

不流行的原因:开发语言不常用,准确性低,吞吐能力

阿里基于java重现,开发了jstorm

3、Spark Streaming的发展历程

为了解决准确性问题,以及吞吐量提升的问题

由流处理,转为微批处理语言

4、flink的发展历程

欧洲,德国柏林的小松鼠

5、性能对比

四、Flink介绍

1、flink在阿里的应用

2、技术栈

云计算节省成本,例如喝牛奶

流批一体,可以实现流处理,也可以实现批处理

3、适用于所有人的编程模型

越往上,越方便,越高效

越到底层,越易于troubleshooting

4、Flink核心内容-四个顶梁柱

查询状态

 

 

 水印标签就是等待的时间,为了解决网络延迟带来的影响-相当于黄灯

5、无界数据流中的有限数据集

现象&技术方式-分段数汽车

数据或时间到了触发计算(汽车通行)

五、实战技术

1、技术和生活举例了解三个内容

固态水变液态水

sink:下沉

2、source

MySQL构成数据源

3、transform

通过水印标签watermark,实现了准确性

事件时间、摄入时间、处理时间

事件时间是客户端发生的时间

摄入时间是处理节点接收到的时间

处理时间是服务开始处理的时间

 

4、sink,把数据推送给谁

5、其他

val=value,是常量

var=variable,是变量

6、课程内容

 

 

 

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值