名词解释:
spark streaming:
定义:一个对实时数据进行高容通量、容错处理的流式处理系统,可以对多种数据源进行Map、reduce和join等复杂操作,并将结果保存到外部文件系统、数据库活应用到实时仪表盘。
流式数据:像流水一样一点一点流过来流式数据被封装成二进制的流。
流式处理:同样像流水一样一点点处理。如果全部接受数据以后在处理的话会有很大延迟也会消耗大量内存。
计算流程:Sparkstreaming是将流式计算分解成短小的批处理作业。
名词解释:
spark streaming:
定义:一个对实时数据进行高容通量、容错处理的流式处理系统,可以对多种数据源进行Map、reduce和join等复杂操作,并将结果保存到外部文件系统、数据库活应用到实时仪表盘。
流式数据:像流水一样一点一点流过来流式数据被封装成二进制的流。
流式处理:同样像流水一样一点点处理。如果全部接受数据以后在处理的话会有很大延迟也会消耗大量内存。
计算流程:Sparkstreaming是将流式计算分解成短小的批处理作业。