Spark
关注
分享
扫一扫
111
young log
后端开发工程师
展开
-
大数据计算模型使用小结(持续更新)
MapReduce第一次使用MapReduce是在研究生的阶段，当时是处理一些图片数据，而写的MapReduce程序主要是处理了一些shell脚本，利用MapReduce的切割机制将脚本分到各个机器上去执行。当时是第一次接触大数据的模型，包括前期的集群搭建，环境变量的配置等等。Flink使用Flink是在工作后的第一个任务，利用流处理的模型将kafka中的数据分别处理至postgre...原创 2019-12-10 10:54:34 · 432 阅读 · 0 评论 -
在Spark集群中提交任务
Spak2.3.4版本已经安装完成，介绍在集群中运行作业的方式。首先是运行Spark自带的样例程序（进入到spark安装目录）： bin/spark-submit --master spark://master:7077 --class org.apache.spark.examples.SparkPi --executor-memory 2g examples/jars/spark-ex...原创 2019-10-11 15:36:23 · 318 阅读 · 0 评论