Spark学习笔记
bluesort
相信付出总能得到回报
展开
-
Scala 开发Spark 基本模板
该 Spark模板是基于Scala,采用maven进行版本管理,intellij idea 作为开发工具。 scala使用的版本为:scala-2.10.4,系统使用Centos 7.4。原创 2018-08-10 11:26:28 · 3960 阅读 · 0 评论 -
Spark 运行模式
bin/spark-shell 默认情况下,表示运行在local mode,在本地启动一个JVM Process,在里面运行一些线程进行数据处理,每个线程运行一个Task任务。 每个JVM Process中运行多少个线程Thread。可以通过 bin/spark-shell --master local 指定。 bin/spark-shell --master local 在JVM中运行...原创 2018-08-13 09:46:19 · 230 阅读 · 0 评论