大数据计算技术-数据计算处理系统-计算模式(计算模型) 1计算模式(计算模型) 1.1批处理计算模式:数据计算处理系统例子:MapReduce计算模型 1.2流计算模式 1.2.1定义 1.2.2流计算模式详细描述 1.2.3基于流计算系统模式中的两种主要处理模式 1.2.4流计算性能参数-衡量计算系统的性能的主要指标 1.2.4.1系统吞吐率 1.2.4.2系统响应时延 1.2.5流计算的平台 1.2.5.1Storm(采用了原生态处理模式的一个流计算平台) 1.2.5.2Spark的Dsteam 1.2.5.3Samza的Partitioned的Stream 1计算模式(计算模型) 1.1批处理计算模式:数据计算处理系统例子:MapReduce计算模型 具体的大数据计算模型:MapReduce计算模型(主要是对海量数据一种分布式并行处理,用的基本的算法是分治法) 具体的程序(算例): 1.2流计算模式 “只能以事先规定好的顺序被读取一次的数据的一个序列” “描述数据的变量是一个时间相关的