1 介绍
flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行状态计算。
国内BAT、饿了么、美团等都使用flink。
2 为什么要选择Flink?
-流数据更真实地反映了我们的生活方式
-传统数据架构是基于有限数据集的
-我们的目标
低延迟
高吞吐
结果的准确性和良好的容错性
哪些行业需要处理流数据?
-电商和市场营销
数据报表、广告投放、业务流程需要
-物联网(IOT)
传感器实时数据采集和显示、实时报警、交通运输也
-电信也
基站流量调配
-银行和金融业
实时结算和通知推送,实时检测异常行为
3 Fink的流式处理的提出
关于传统数据处理架构之事务处理架构
分两个部分,上面是计算层(接受用户请求),下面是存储层
CRM:客户端关系管理系统
用户订单系统
和DBMS(关系型数据库)存储数据,进行响应。
关于传统数据处理架构之分析处理架构
把数据从业务数据赋值到数仓,再进行分析和查询