![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark 原理介绍
圈圈任
专注,正念,坚持
展开
-
Spark的Cluster模式架构图
一、在Spark的官网文件中,可以看到Spark的Cluster模式架构图,浏览器输入:https://spark.apache.org/docs/latest/cluster-overview.html(1)DriverProgram 就是程序员设计的Spark程序,在Spark中必须定义SparkContext,它是开发Spark应用程序的入口(2)SparkContext是通过Cluster...原创 2018-02-28 10:44:04 · 883 阅读 · 0 评论 -
关于Spark的local[N]
local[N]代表在本地运行,使用N个线程,也就是说可以同时执行N个程序,虽然在本地运行,但是因为cpu大多是多个核心,所以使用多个线程会加速执行,那么local[4]就代表4个线程...原创 2018-02-28 10:49:17 · 2528 阅读 · 0 评论 -
关于spark-evn.sh的配置(里面有worker的设置)
一、在终端程序输入命令:sudo gedit /usr/local/spark/conf/spark-env.sh(用gedit打开spark-env.sh的文件)打开后找到:export SPARK_MASTER_IP=master(设置master的IP或者服务器名称)export SPARK_WORKER_CORES=1(设置每个Worker使用的CPU核心)export SPARK_WOR...原创 2018-02-28 11:56:39 · 2939 阅读 · 0 评论