大数据计算模型使用小结(持续更新)

MapReduce

第一次使用MapReduce是在研究生的阶段，当时是处理一些图片数据，而写的MapReduce程序主要是处理了一些shell脚本，利用MapReduce的切割机制将脚本分到各个机器上去执行。
当时是第一次接触大数据的模型，包括前期的集群搭建，环境变量的配置等等。

Flink

使用Flink是在工作后的第一个任务，利用流处理的模型将kafka中的数据分别处理至postgreSQL业务使用，HDFS备份，和ES进行检索，kafka中的数据是从mongoDB中同步过来的，当时这些技术都是第一次接触，只做了两个月。
阿里在主推Flink。

Spark

使用Spark是在第二个任务，当时是根据业务场景 将Tensorflow分布式运行，利用Spark进行调度和数据，这个工作还没完成，主要参考了雅虎的TensorflowOnSpark。