MapReduce
第一次使用MapReduce是在研究生的阶段,当时是处理一些图片数据,而写的MapReduce程序主要是处理了一些shell脚本,利用MapReduce的切割机制将脚本分到各个机器上去执行。
当时是第一次接触大数据的模型,包括前期的集群搭建,环境变量的配置等等。
Flink
使用Flink是在工作后的第一个任务,利用流处理的模型将kafka中的数据分别处理至postgreSQL业务使用,HDFS备份,和ES进行检索,kafka中的数据是从mongoDB中同步过来的,当时这些技术都是第一次接触,只做了两个月。
阿里在主推Flink。
Spark
使用Spark是在第二个任务,当时是根据业务场景 将Tensorflow分布式运行,利用Spark进行调度和数据,这个工作还没完成,主要参考了雅虎的TensorflowOnSpark。