目录
1、Flink是什么?
Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行状态计算。
2、为什么选择Flink?
- 流数据更真实地反映了我们的生活方式
- 传统的数据架构是基于有限数据集的
- 我们的目标
- 低延迟
- 高吞吐
- 结果的准确性和良好的容错性
3、哪些行业需要处理流数据?
- 电商和市场营销:数据报表、广告投放、业务流程需要
- 物联网:传感器实时数据采集和显示、实时报警、交通运输业
- 电信业:基站流量调配
- 银行和金融业:实时结算和通知推送,实时检测异常行为
4、传统数据处理架构,
-
事务处理:计算层和存储层,ERP或者订单系统或者web前端得到用户的请求,去关系型数据库查找相关信息再反馈给用户。(数据量相对较小)
-
分析处理:将数据从业务数据库或日志中复制到数仓(涉及ETL),再进行分析和查询。(离线处理)
-
有状态的流式处理:数据放在内存中,进行实时处理。由于内存不稳定,所以需要定期进行检查点操作实现持久化。