Spark初学： 相关小知识点

。。。。。。。。

1） spark集群默认调度job的机制：FIFO( first in first out )  队列模式

2） 集群管理地址端口：SPARK_MASTER_PORT=7077

webui端口： SPARK_MASTER_WEBUI_PORT=8080

SPARK_WORKER_WEBUI_PORT=8081

Spark-shell     ——》 SparkSubmit   ——》端口 ：4040

 

3）

scala> sc.addFile("/home/hadoop/wordtest.txt")
scala> import org.apache.spark.SparkFiles
scala> SparkFiles.get("wordtest.txt")
scala> sc.textFile(SparkFiles.get("wordtest.txt"))

文件会出现在  /tmp   目录下

hadoop@Master:/tmp$ find spark* |grep wordtest
spark-9393be4c-5650-45d3-b7d1-24f7669ab43b/userFiles-1322d1d7-3433-44c5-b12f-625e1b9dcc31/wordtest.txt

 

4） maven 下编译 spark 应用程序 （java）