类路径。
ClassPath会受到影响,具体取决于您提供的内容。有几种方法可以在类路径上设置一些东西:spark.driver.extraClassPath或者它是--driver-class-path在运行驱动程序的节点上设置额外类路径的别名。
spark.executor.extraClassPath 在Worker节点上设置额外的类路径。
如果您希望某个JAR在Master和Worker上都有效,则必须在BOTH标志中单独指定它们。
分离特征:Linux:冒号 :例如: --conf "spark.driver.extraClassPath=/opt/prog/hadoop-aws-2.7.1.jar:/opt/prog/aws-java-sdk-1.10.50.jar"
Windows:分号 ;例如: --conf "spark.driver.extraClassPath=/opt/prog/hadoop-aws-2.7.1.jar;/opt/prog/aws-java-sdk-1.10.50.jar"
文件分发:
这取决于您正在运行的工作模式:客户端模式 - Spark启动Netty HTTP服务器,该服务器在启动时为每个工作节点分配文件。您可以看到启动Spark作业时:16/05/08 17:29:12 INFO HttpFileServer: HTTP File server directory is /tmp/spark-48911afa-db63-4ffc-a298-015e8b96bc55/httpd-84ae312b-5863-4f4c-a1ea-537bfca2bc2b16/05/08 17:29:12 INFO HttpServer: Starting HTTP Server16/05/08 17:29:12 INFO Utils: S