批量计算:收集数据-存入DB-取出分析,先将数据存进去,再处理
区别:
1. 与批量计算累积数据不同,流式计算将大数据平摊到各个结点上,连续进行小批量的传输,流动,计算完后抛弃
2. 批量计算维护一张表,对表进行各种逻辑操作,流式计算相反,须先定义好计算逻辑,提交到流式计算系统,计算逻辑在整个运行期间不可更改
3. 计算结果上,批量计算是对全部数据计算后传输结果,流式计算是每次小批量计算后,结果可以立刻传出,做到实时
批量计算:收集数据-存入DB-取出分析,先将数据存进去,再处理
区别:
1. 与批量计算累积数据不同,流式计算将大数据平摊到各个结点上,连续进行小批量的传输,流动,计算完后抛弃
2. 批量计算维护一张表,对表进行各种逻辑操作,流式计算相反,须先定义好计算逻辑,提交到流式计算系统,计算逻辑在整个运行期间不可更改
3. 计算结果上,批量计算是对全部数据计算后传输结果,流式计算是每次小批量计算后,结果可以立刻传出,做到实时