sparkcontext :一个线程只有一个
spark的job都是jvm的进程
在spark 2.0之前,SparkContext是所有spark任务的入口,无论spark集群有多少个节点做并行处理,每个程序只可以有唯一的sparkContext,它可以被sparkconf对象初始化
spark 2.0之后,spark引入了薪的sparkSession作为所有spark任务的入口,sparkSession不仅有sparkContext的所有功能,还集成了所有spark提供的api,无需为不同功能定义context
spark = SparkSession
.builder
.appName(appName)
.getOrCreate()
text_file = spark.read.text("file://….").rdd.map(lambda r: r[0])
Spark 消息队列机制源码学习
http://blog.csdn.net/sivolin/article/details/47316099
Apache Spark 内存管理详解
https://www.ibm.com/developerworks/cn/analytics/library/ba-cn-apache-spark-memory-management/index.html