Linux安装Spark集群(CentOS7+Spark2.1.1+Hadoop2.8.0)

最新推荐文章于 2021-01-16 09:58:23 发布
最新推荐文章于 2021-01-16 09:58:23 发布
阅读量862 收藏 1
点赞数
分类专栏： 数据库

1 安装Spark依赖的Scala

          1.1下载和解压缩Scala

          1.2 配置环境变量

          1.3 验证Scala

2下载和解压缩Spark

          2.1 下载Spark压缩包

          2.2 解压缩Spark

3 Spark相关的配置

          3.1 配置环境变量

          3.2 配置conf目录下的文件

                  3.2.1 新建spark-env.h文件

                  3.2.2 新建slaves文件

4 启动和测试Spark集群

         4.1 启动Spark

         4.2 测试和使用Spark集群

                 4.2.1访问Spark集群提供的URL

                 4.2.2运行Spark提供的计算圆周率的示例程序

 

关键字：Linux   CentOS  Hadoop  Spark   Scala   Java

版本号：CentOS7  Hadoop2.8.0  Spark2.1.1   Scala2.12.2   JDK1.8

 

          说明：Spark可以在只安装了JDK、Scala的机器上直接单机安装，但是这样的话只能使用单机模式运行不涉及分布式运算和分布式存储的代码，例如可以单机安装Spark，单机运行计算圆周率的Spark程序。但是我们要运行的是Spark集群，并且需要调用Hadoop的分布式文件系统，所以请你先安装Hadoop

 

在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习裙：716加上【五8一】最后014，即可免费领取一整套系统的大数据学习教程

     

        Spark集群的最小化安装只需要安装这些东西：JDK  、Scala  、Hadoop  、Spark

1 安装Spark依赖的Scala

          Hadoop的安装请参考上面提到的博文，因为Spark依赖scala，所以在安装Spark之前，这里要先安装scala。在每个节点上都进行安装。

1.1  下载和解压缩Scala

        如图：

 

如图：

      

 

 

 

在Linux服务器的opt目录下新建一个名为scala的文件夹，并将下载的压缩包上载上去

如图：

   

   

执行命令，进入到该目录：

cd    /opt/scala

执行命令进行解压缩：

tar   -xvf    scala-2.12.2

1.2  配置环境变量

       编辑/etc/profile这个文件，在文件中增加一行配置：

 

export    SCALA_HOME=/opt/scala/scala-2.12.2

 

      在该文件的PATH变量中增加下面的内容：

 

  ${SCALA_HOME}/bin

 

 

      添加完成后，我的/etc/profile的配置如下：

 

 

  1. export JAVA_HOME=/opt/java/jdk1.8.0_121

  2. export HADOOP_HOME=/opt/hadoop/hadoop-2.8.0

  3. export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

  4. export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native

  5. export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib"

  6. export HIVE_HOME=/opt/hive/apache-hive-2.1.1-bin

  7. export HIVE_CONF_DIR=${HIVE_HOME}/conf

  8. export SQOOP_HOME=/opt/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha

  9. export HBASE_HOME=/opt/hbase/hbase-1.2.5

  10. export ZK_HOME=/opt/zookeeper/zookeeper-3.4.10

  11. export SCALA_HOME=/opt/scala/scala-2.12.2

  12. export CLASS_PATH=.:${JAVA_HOME}/lib:${HIVE_HOME}/lib:$CLASS_PATH

  13. export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${SPARK_HOME}/bin:${ZK_HOME}/bin:${HIVE_HOME}/bin:${SQOOP_HOME}/bin:${HBASE_HOME}/bin:${SCALA_HOME}/bin:$PATH

         说明：你可以只关注开头说的JDK  SCALA   Hadoop  Spark的环境变量，其余的诸如Zookeeper、Hbase、Hive、Sqoop都不用管。

        如图：

 

      环境变量配置完成后，执行下面的命令：

 

source   /etc/profile

 

1.3 验证Scala

    执行命令：

 

scala     -version

 

   如图：

    

2 下载和解压缩Spark

      在每个节点上都安装Spark，也就是重复下面的步骤。

 

  如图：

        

 

     

2.2  解压缩Spark

      在Linux服务器的opt目录下新建一个名为spark的文件夹，把刚才下载的压缩包，上载上去。

如图：

进入到该目录内，也就是执行下面的命令：

cd    /opt/spark

执行解压缩命令：

tar   -zxvf   spark-2.1.1-bin-hadoop2.7.tgz

3  Spark相关的配置

         说明：因为我们搭建的是基于hadoop集群的Spark集群，所以每个hadoop节点上我都安装了Spark，都需要按照下面的步骤做配置，启动的话只需要在Spark集群的Master机器上启动即可，我这里是在hserver1上启动。

3.1  配置环境变量

编辑/etc/profile文件，增加

 

export  SPARK_HOME=/opt/spark/spark-2.1.1-bin-hadoop2.7

 

      上面的变量添加完成后编辑该文件中的PATH变量，添加

 

${SPARK_HOME}/bin

 

      注意：因为$SPARK_HOME/sbin目录下有一些文件名称和$HADOOP_HOME/sbin目录下的文件同名，为了避免同名文件冲突，这里不在PATH变量里添加$SPARK_HOME/sbin只添加了$SPARK_HOME/bin。

修改完成后，我的/etc/profile文件内容是：

 

 

  1. export JAVA_HOME=/opt/java/jdk1.8.0_121

  2. export HADOOP_HOME=/opt/hadoop/hadoop-2.8.0

  3. export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

  4. export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native

  5. export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib"

  6. export HIVE_HOME=/opt/hive/apache-hive-2.1.1-bin

  7. export HIVE_CONF_DIR=${HIVE_HOME}/conf

  8. export SQOOP_HOME=/opt/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha

  9. export HBASE_HOME=/opt/hbase/hbase-1.2.5

  10. export ZK_HOME=/opt/zookeeper/zookeeper-3.4.10

  11. export SCALA_HOME=/opt/scala/scala-2.12.2

  12. export SPARK_HOME=/opt/spark/spark-2.1.1-bin-hadoop2.7

  13. export CLASS_PATH=.:${JAVA_HOME}/lib:${HIVE_HOME}/lib:$CLASS_PATH

  14. export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${SPARK_HOME}/bin:${ZK_HOME}/bin:${HIVE_HOME}/bin:${SQOOP_HOME}/bin:${HBASE_HOME}:${SCALA_HOME}/bin:$PATH

 

      说明：你可以只关注开头说的JDK  SCALA   Hadoop  Spark的环境变量，其余的诸如Zookeeper、Hbase、Hive、Sqoop都不用管。 

      如图：

编辑完成后，执行命令：

source    /etc/profile

3.2 配置conf目录下的文件

         对/opt/spark/spark-2.1.1-bin-hadoop2.7/conf目录下的文件进行配置。

3.2.1  新建spark-env.h文件

        执行命令，进入到/opt/spark/spark-2.1.1-bin-hadoop2.7/conf目录内：

cd    /opt/spark/spark-2.1.1-bin-hadoop2.7/conf

       以spark为我们创建好的模板创建一个spark-env.h文件，命令是：

cp    spark-env.sh.template   spark-env.sh

     如图：

    编辑spark-env.h文件，在里面加入配置(具体路径以自己的为准)：

 

 

  1. export SCALA_HOME=/opt/scala/scala-2.12.2

  2. export JAVA_HOME=/opt/java/jdk1.8.0_121

  3. export HADOOP_HOME=/opt/hadoop/hadoop-2.8.0

  4. export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

  5. export SPARK_HOME=/opt/spark/spark-2.1.1-bin-hadoop2.7

  6. export SPARK_MASTER_IP=hserver1

  7. export SPARK_EXECUTOR_MEMORY=1G

 

3.2.2 新建slaves文件

执行命令，进入到/opt/spark/spark-2.1.1-bin-hadoop2.7/conf目录内：

cd   /opt/spark/spark-2.1.1-bin-hadoop2.7/conf

以spark为我们创建好的模板创建一个slaves文件，命令是：

cp    slaves.template   slaves

如图：

编辑slaves文件，里面的内容为：

 

hserver2
hserver3

 

4 启动和测试Spark集群

4.1 启动Spark

          因为spark是依赖于hadoop提供的分布式文件系统的，所以在启动spark之前，先确保hadoop在正常运行。

        在hadoop正常运行的情况下，在hserver1（也就是hadoop的namenode，spark的marster节点）上执行命令：

   cd   /opt/spark/spark-2.1.1-bin-hadoop2.7/sbin

    执行启动脚本：

  ./start-all.sh

  如图：

 

  完整内容是：

 

 

  1. [root@hserver1 sbin]# cd/opt/spark/spark-2.1.1-bin-hadoop2.7/sbin

  2. [root@hserver1 sbin]# ./start-all.sh

  3. starting org.apache.spark.deploy.master.Master,logging to/opt/spark/spark-2.1.1-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.master.Master-1-hserver1.out

  4. hserver2: startingorg.apache.spark.deploy.worker.Worker, logging to/opt/spark/spark-2.1.1-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-hserver2.out

  5. hserver3: startingorg.apache.spark.deploy.worker.Worker, logging to/opt/spark/spark-2.1.1-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-hserver3.out

  6. [root@hserver1 sbin]#

 

         注意：上面的命令中有./这个不能少，./的意思是执行当前目录下的start-all.sh脚本。

4.2  测试和使用Spark集群

4.2.1  访问Spark集群提供的URL

  

       如图：

4.2.2  运行Spark提供的计算圆周率的示例程序

      这里只是简单的用local模式运行一个计算圆周率的Demo。按照下面的步骤来操作。

      第一步，进入到Spark的根目录，也就是执行下面的脚本：

cd     /opt/spark/spark-2.1.1-bin-hadoop2.7

如图：

        

第二步，调用Spark自带的计算圆周率的Demo，执行下面的命令：

 

./bin/spark-submit  --class  org.apache.spark.examples.SparkPi  --master local   examples/jars/spark-examples_2.11-2.1.1.jar

 

 

        命令执行后，spark示例程序已经开始执行

        如图：

        很快执行结果出来了，执行结果我用红框标出来了

如图：

        完整的控制台输出是：

 

 

  1. [root@hserver1 bin]# cd /opt/spark/spark-2.1.1-bin-hadoop2.7

  2. [root@hserver1 spark-2.1.1-bin-hadoop2.7]# ./bin/spark-submit--class org.apache.spark.examples.SparkPi --master localexamples/jars/spark-examples_2.11-2.1.1.jar

  3. 17/05/16 14:26:23 INFO spark.SparkContext: Running Spark version2.1.1

  4. 17/05/16 14:26:24 WARN util.NativeCodeLoader: Unable to loadnative-hadoop library for your platform... using builtin-java classes whereapplicable

  5. 17/05/16 14:26:25 INFO spark.SecurityManager: Changing view acls to:root

  6. 17/05/16 14:26:25 INFO spark.SecurityManager: Changing modify aclsto: root

  7. 17/05/16 14:26:25 INFO spark.SecurityManager: Changing view aclsgroups to:

  8. 17/05/16 14:26:25 INFO spark.SecurityManager: Changing modify aclsgroups to:

  9. 17/05/16 14:26:25 INFO spark.SecurityManager: SecurityManager:authentication disabled; ui acls disabled; users with view permissions: Set(root); groups withview permissions: Set(); users withmodify permissions: Set(root); groups with modify permissions: Set()

  10. 17/05/16 14:26:25 INFO util.Utils: Successfully started service'sparkDriver' on port 40855.

  11. 17/05/16 14:26:26 INFO spark.SparkEnv: Registering MapOutputTracker

  12. 17/05/16 14:26:26 INFO spark.SparkEnv: RegisteringBlockManagerMaster

  13. 17/05/16 14:26:26 INFO storage.BlockManagerMasterEndpoint: Usingorg.apache.spark.storage.DefaultTopologyMapper for getting topology information

  14. 17/05/16 14:26:26 INFO storage.BlockManagerMasterEndpoint:BlockManagerMasterEndpoint up

  15. 17/05/16 14:26:26 INFO storage.DiskBlockManager: Created localdirectory at /tmp/blockmgr-cf8cbb42-95d2-4284-9a48-67592363976a

  16. 17/05/16 14:26:26 INFO memory.MemoryStore: MemoryStore started withcapacity 413.9 MB

  17. 17/05/16 14:26:26 INFO spark.SparkEnv: RegisteringOutputCommitCoordinator

  18. 17/05/16 14:26:26 INFO util.log: Logging initialized @5206ms

  19. 17/05/16 14:26:27 INFO server.Server: jetty-9.2.z-SNAPSHOT

  20. 17/05/16 14:26:27 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@5118388b{/jobs,null,AVAILABLE,@Spark}

  21. 17/05/16 14:26:27 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@15a902e7{/jobs/json,null,AVAILABLE,@Spark}

  22. 17/05/16 14:26:27 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@7876d598{/jobs/job,null,AVAILABLE,@Spark}

  23. 17/05/16 14:26:27 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@4a3e3e8b{/jobs/job/json,null,AVAILABLE,@Spark}

  24. 17/05/16 14:26:27 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@5af28b27{/stages,null,AVAILABLE,@Spark}

  25. 17/05/16 14:26:27 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@71104a4{/stages/json,null,AVAILABLE,@Spark}

  26. 17/05/16 14:26:27 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@4985cbcb{/stages/stage,null,AVAILABLE,@Spark}

  27. 17/05/16 14:26:27 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@72f46e16{/stages/stage/json,null,AVAILABLE,@Spark}

  28. 17/05/16 14:26:27 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@3c9168dc{/stages/pool,null,AVAILABLE,@Spark}

  29. 17/05/16 14:26:27 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@332a7fce{/stages/pool/json,null,AVAILABLE,@Spark}

  30. 17/05/16 14:26:27 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@549621f3{/storage,null,AVAILABLE,@Spark}

  31. 17/05/16 14:26:27 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@54361a9{/storage/json,null,AVAILABLE,@Spark}

  32. 17/05/16 14:26:27 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@32232e55{/storage/rdd,null,AVAILABLE,@Spark}

  33. 17/05/16 14:26:27 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@5217f3d0{/storage/rdd/json,null,AVAILABLE,@Spark}

  34. 17/05/16 14:26:27 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@37ebc9d8{/environment,null,AVAILABLE,@Spark}

  35. 17/05/16 14:26:27 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@293bb8a5{/environment/json,null,AVAILABLE,@Spark}

  36. 17/05/16 14:26:27 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@2416a51{/executors,null,AVAILABLE,@Spark}

  37. 17/05/16 14:26:27 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@6fa590ba{/executors/json,null,AVAILABLE,@Spark}

  38. 17/05/16 14:26:27 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@6e9319f{/executors/threadDump,null,AVAILABLE,@Spark}

  39. 17/05/16 14:26:27 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@72e34f77{/executors/threadDump/json,null,AVAILABLE,@Spark}

  40. 17/05/16 14:26:27 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@7bf9b098{/static,null,AVAILABLE,@Spark}

  41. 17/05/16 14:26:27 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@389adf1d{/,null,AVAILABLE,@Spark}

  42. 17/05/16 14:26:27 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@77307458{/api,null,AVAILABLE,@Spark}

  43. 17/05/16 14:26:27 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@1fc0053e{/jobs/job/kill,null,AVAILABLE,@Spark}

  44. 17/05/16 14:26:27 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@290b1b2e{/stages/stage/kill,null,AVAILABLE,@Spark}

  45. 17/05/16 14:26:27 INFO server.ServerConnector: StartedSpark@32fe9d0a{HTTP/1.1}{0.0.0.0:4040}

  46. 17/05/16 14:26:27 INFO server.Server: Started @5838ms

  47. 17/05/16 14:26:27 INFO util.Utils: Successfully started service'SparkUI' on port 4040.

  48. 17/05/16 14:26:27 INFO ui.SparkUI: Bound SparkUI to 0.0.0.0, andstarted at http://192.168.27.143:4040

  49. 17/05/16 14:26:27 INFO spark.SparkContext: Added JARfile:/opt/spark/spark-2.1.1-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.1.1.jarat spark://192.168.27.143:40855/jars/spark-examples_2.11-2.1.1.jar withtimestamp 1494915987472

  50. 17/05/16 14:26:27 INFO executor.Executor: Starting executor IDdriver on host localhost

  51. 17/05/16 14:26:27 INFO util.Utils: Successfully started service'org.apache.spark.network.netty.NettyBlockTransferService' on port 41104.

  52. 17/05/16 14:26:27 INFO netty.NettyBlockTransferService: Servercreated on 192.168.27.143:41104

  53. 17/05/16 14:26:27 INFO storage.BlockManager: Usingorg.apache.spark.storage.RandomBlockReplicationPolicy for block replicationpolicy

  54. 17/05/16 14:26:27 INFO storage.BlockManagerMaster: RegisteringBlockManager BlockManagerId(driver, 192.168.27.143, 41104, None)

  55. 17/05/16 14:26:27 INFO storage.BlockManagerMasterEndpoint:Registering block manager 192.168.27.143:41104 with 413.9 MB RAM,BlockManagerId(driver, 192.168.27.143, 41104, None)

  56. 17/05/16 14:26:27 INFO storage.BlockManagerMaster: RegisteredBlockManager BlockManagerId(driver, 192.168.27.143, 41104, None)

  57. 17/05/16 14:26:27 INFO storage.BlockManager: InitializedBlockManager: BlockManagerId(driver, 192.168.27.143, 41104, None)

  58. 17/05/16 14:26:28 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@4e6d7365{/metrics/json,null,AVAILABLE,@Spark}

  59. 17/05/16 14:26:28 INFO internal.SharedState: Warehouse path is'file:/opt/spark/spark-2.1.1-bin-hadoop2.7/spark-warehouse'.

  60. 17/05/16 14:26:28 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@705202d1{/SQL,null,AVAILABLE,@Spark}

  61. 17/05/16 14:26:28 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@3e58d65e{/SQL/json,null,AVAILABLE,@Spark}

  62. 17/05/16 14:26:28 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@6f63c44f{/SQL/execution,null,AVAILABLE,@Spark}

  63. 17/05/16 14:26:28 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@62a8fd44{/SQL/execution/json,null,AVAILABLE,@Spark}

  64. 17/05/16 14:26:28 INFO handler.ContextHandler: Startedo.s.j.s.ServletContextHandler@1d035be3{/static/sql,null,AVAILABLE,@Spark}

  65. 17/05/16 14:26:30 INFO spark.SparkContext: Starting job: reduce atSparkPi.scala:38

  66. 17/05/16 14:26:30 INFO scheduler.DAGScheduler: Got job 0 (reduce atSparkPi.scala:38) with 2 output partitions

  67. 17/05/16 14:26:30 INFO scheduler.DAGScheduler: Final stage:ResultStage 0 (reduce at SparkPi.scala:38)

  68. 17/05/16 14:26:30 INFO scheduler.DAGScheduler: Parents of finalstage: List()

  69. 17/05/16 14:26:30 INFO scheduler.DAGScheduler: Missing parents:List()

  70. 17/05/16 14:26:30 INFO scheduler.DAGScheduler: SubmittingResultStage 0 (MapPartitionsRDD[1] at map at SparkPi.scala:34), which has nomissing parents

  71. 17/05/16 14:26:30 INFO memory.MemoryStore: Block broadcast_0 storedas values in memory (estimated size 1832.0 B, free 413.9 MB)

  72. 17/05/16 14:26:30 INFO memory.MemoryStore: Block broadcast_0_piece0stored as bytes in memory (estimated size 1167.0 B, free 413.9 MB)

  73. 17/05/16 14:26:31 INFO storage.BlockManagerInfo: Addedbroadcast_0_piece0 in memory on 192.168.27.143:41104 (size: 1167.0 B, free:413.9 MB)

  74. 17/05/16 14:26:31 INFO spark.SparkContext: Created broadcast 0 frombroadcast at DAGScheduler.scala:996

  75. 17/05/16 14:26:31 INFO scheduler.DAGScheduler: Submitting 2 missingtasks from ResultStage 0 (MapPartitionsRDD[1] at map at SparkPi.scala:34)

  76. 17/05/16 14:26:31 INFO scheduler.TaskSchedulerImpl: Adding task set0.0 with 2 tasks

  77. 17/05/16 14:26:31 INFO scheduler.TaskSetManager: Starting task 0.0in stage 0.0 (TID 0, localhost, executor driver, partition 0, PROCESS_LOCAL,6026 bytes)

  78. 17/05/16 14:26:31 INFO executor.Executor: Running task 0.0 in stage0.0 (TID 0)

  79. 17/05/16 14:26:31 INFO executor.Executor: Fetchingspark://192.168.27.143:40855/jars/spark-examples_2.11-2.1.1.jar with timestamp1494915987472

  80. 17/05/16 14:26:31 INFO client.TransportClientFactory: Successfullycreated connection to /192.168.27.143:40855 after 145 ms (0 ms spent inbootstraps)

  81. 17/05/16 14:26:31 INFO util.Utils: Fetchingspark://192.168.27.143:40855/jars/spark-examples_2.11-2.1.1.jar to/tmp/spark-702c8654-489f-47f2-85e0-8b658ebb2988/userFiles-0a07fa86-4d14-4939-ad2b-95ac8488e187/fetchFileTemp3302336691796081023.tmp

  82. 17/05/16 14:26:33 INFO executor.Executor: Addingfile:/tmp/spark-702c8654-489f-47f2-85e0-8b658ebb2988/userFiles-0a07fa86-4d14-4939-ad2b-95ac8488e187/spark-examples_2.11-2.1.1.jarto class loader

  83. 17/05/16 14:26:34 INFO executor.Executor: Finished task 0.0 in stage0.0 (TID 0). 1114 bytes result sent to driver

  84. 17/05/16 14:26:34 INFO scheduler.TaskSetManager: Starting task 1.0in stage 0.0 (TID 1, localhost, executor driver, partition 1, PROCESS_LOCAL,6026 bytes)

  85. 17/05/16 14:26:34 INFO executor.Executor: Running task 1.0 in stage0.0 (TID 1)

  86. 17/05/16 14:26:34 INFO scheduler.TaskSetManager: Finished task 0.0in stage 0.0 (TID 0) in 2815 ms on localhost (executor driver) (1/2)

  87. 17/05/16 14:26:34 INFO executor.Executor: Finished task 1.0 in stage0.0 (TID 1). 1114 bytes result sent to driver

  88. 17/05/16 14:26:34 INFO scheduler.TaskSetManager: Finished task 1.0in stage 0.0 (TID 1) in 416 ms on localhost (executor driver) (2/2)

  89. 17/05/16 14:26:34 INFO scheduler.TaskSchedulerImpl: Removed TaskSet0.0, whose tasks have all completed, from pool

  90. 17/05/16 14:26:34 INFO scheduler.DAGScheduler: ResultStage 0 (reduceat SparkPi.scala:38) finished in 3.269 s

  91. 17/05/16 14:26:34 INFO scheduler.DAGScheduler: Job 0 finished:reduce at SparkPi.scala:38, took 4.404894 s

  92. Pi is roughly 3.1434157170785855

  93. 17/05/16 14:26:34 INFO server.ServerConnector: StoppedSpark@32fe9d0a{HTTP/1.1}{0.0.0.0:4040}

  94. 17/05/16 14:26:34 INFO handler.ContextHandler: Stoppedo.s.j.s.ServletContextHandler@290b1b2e{/stages/stage/kill,null,UNAVAILABLE,@Spark}

  95. 17/05/16 14:26:34 INFO handler.ContextHandler: Stoppedo.s.j.s.ServletContextHandler@1fc0053e{/jobs/job/kill,null,UNAVAILABLE,@Spark}

  96. 17/05/16 14:26:34 INFO handler.ContextHandler: Stoppedo.s.j.s.ServletContextHandler@77307458{/api,null,UNAVAILABLE,@Spark}

  97. 17/05/16 14:26:34 INFO handler.ContextHandler: Stoppedo.s.j.s.ServletContextHandler@389adf1d{/,null,UNAVAILABLE,@Spark}

  98. 17/05/16 14:26:34 INFO handler.ContextHandler: Stoppedo.s.j.s.ServletContextHandler@7bf9b098{/static,null,UNAVAILABLE,@Spark}

  99. 17/05/16 14:26:34 INFO handler.ContextHandler: Stoppedo.s.j.s.ServletContextHandler@72e34f77{/executors/threadDump/json,null,UNAVAILABLE,@Spark}

  100. 17/05/16 14:26:34 INFO handler.ContextHandler: Stoppedo.s.j.s.ServletContextHandler@6e9319f{/executors/threadDump,null,UNAVAILABLE,@Spark}

  101. 17/05/16 14:26:34 INFO handler.ContextHandler: Stoppedo.s.j.s.ServletContextHandler@6fa590ba{/executors/json,null,UNAVAILABLE,@Spark}

  102. 17/05/16 14:26:34 INFO handler.ContextHandler: Stoppedo.s.j.s.ServletContextHandler@2416a51{/executors,null,UNAVAILABLE,@Spark}

  103. 17/05/16 14:26:34 INFO handler.ContextHandler: Stoppedo.s.j.s.ServletContextHandler@293bb8a5{/environment/json,null,UNAVAILABLE,@Spark}

  104. 17/05/16 14:26:34 INFO handler.ContextHandler: Stopped o.s.j.s.ServletContextHandler@37ebc9d8{/environment,null,UNAVAILABLE,@Spark}

  105. 17/05/16 14:26:34 INFO handler.ContextHandler: Stoppedo.s.j.s.ServletContextHandler@5217f3d0{/storage/rdd/json,null,UNAVAILABLE,@Spark}

  106. 17/05/16 14:26:34 INFO handler.ContextHandler: Stoppedo.s.j.s.ServletContextHandler@32232e55{/storage/rdd,null,UNAVAILABLE,@Spark}

  107. 17/05/16 14:26:34 INFO handler.ContextHandler: Stoppedo.s.j.s.ServletContextHandler@54361a9{/storage/json,null,UNAVAILABLE,@Spark}

  108. 17/05/16 14:26:34 INFO handler.ContextHandler: Stoppedo.s.j.s.ServletContextHandler@549621f3{/storage,null,UNAVAILABLE,@Spark}

  109. 17/05/16 14:26:34 INFO handler.ContextHandler: Stoppedo.s.j.s.ServletContextHandler@332a7fce{/stages/pool/json,null,UNAVAILABLE,@Spark}

  110. 17/05/16 14:26:34 INFO handler.ContextHandler: Stoppedo.s.j.s.ServletContextHandler@3c9168dc{/stages/pool,null,UNAVAILABLE,@Spark}

  111. 17/05/16 14:26:34 INFO handler.ContextHandler: Stoppedo.s.j.s.ServletContextHandler@72f46e16{/stages/stage/json,null,UNAVAILABLE,@Spark}

  112. 17/05/16 14:26:34 INFO handler.ContextHandler: Stoppedo.s.j.s.ServletContextHandler@4985cbcb{/stages/stage,null,UNAVAILABLE,@Spark}

  113. 17/05/16 14:26:34 INFO handler.ContextHandler: Stoppedo.s.j.s.ServletContextHandler@71104a4{/stages/json,null,UNAVAILABLE,@Spark}

  114. 17/05/16 14:26:34 INFO handler.ContextHandler: Stoppedo.s.j.s.ServletContextHandler@5af28b27{/stages,null,UNAVAILABLE,@Spark}

  115. 17/05/16 14:26:34 INFO handler.ContextHandler: Stoppedo.s.j.s.ServletContextHandler@4a3e3e8b{/jobs/job/json,null,UNAVAILABLE,@Spark}

  116. 17/05/16 14:26:34 INFO handler.ContextHandler: Stoppedo.s.j.s.ServletContextHandler@7876d598{/jobs/job,null,UNAVAILABLE,@Spark}

  117. 17/05/16 14:26:34 INFO handler.ContextHandler: Stoppedo.s.j.s.ServletContextHandler@15a902e7{/jobs/json,null,UNAVAILABLE,@Spark}

  118. 17/05/16 14:26:34 INFO handler.ContextHandler: Stoppedo.s.j.s.ServletContextHandler@5118388b{/jobs,null,UNAVAILABLE,@Spark}

  119. 17/05/16 14:26:34 INFO ui.SparkUI: Stopped Spark web UI athttp://192.168.27.143:4040

  120. 17/05/16 14:26:34 INFO spark.MapOutputTrackerMasterEndpoint:MapOutputTrackerMasterEndpoint stopped!

  121. 17/05/16 14:26:34 INFO memory.MemoryStore: MemoryStore cleared

  122. 17/05/16 14:26:34 INFO storage.BlockManager: BlockManager stopped

  123. 17/05/16 14:26:34 INFO storage.BlockManagerMaster: BlockManagerMasterstopped

  124. 17/05/16 14:26:34 INFOscheduler.OutputCommitCoordinator$OutputCommitCoordinatorEndpoint:OutputCommitCoordinator stopped!

  125. 17/05/16 14:26:34 INFO spark.SparkContext: Successfully stoppedSparkContext

  126. 17/05/16 14:26:34 INFO util.ShutdownHookManager: Shutdown hookcalled

  127. 17/05/16 14:26:34 INFO util.ShutdownHookManager: Deleting directory/tmp/spark-702c8654-489f-47f2-85e0-8b658ebb2988

  128. [root@hserver1 spark-2.1.1-bin-hadoop2.7]#

注意：上面只是使用了单机本地模式调用Demo，使用集群模式运行Demo

Tybyqi
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark集群安装部署
momo898821的博客
03-25 1265
Spark安装部署
CENTOS上的网络安全工具（二十四）Windows下的Hadoop+Spark编程环境构建
最新发布
lhyzws的专栏
06-11 8093
前面我们搭建了hadoop集群，spark集群，也利用容器构建了spark的编程环境。但是一般来说，就并行计算程序的开发，一刚开始一般是在单机上的，比如hadoop的single node。但是老师弄个容器或虚拟机用vscode远程访问式开发，终究还是有些不爽。还好，hadoop和spark都是支持windows的。不妨，我们弄个windows下的开发环境。然而，windows下开发环境的构建，需要一个转换程序winutils.exe，这个需要根据下载的hadoop的版本对应编译。
Java环境搭建
u010843275的博客
04-26 207
本文介绍JDK的安装与环境变量配置。 方法/步骤 1：安装jdk 随意选择目录 只需把默认安装目录 \java 之前的目录修改即可 2：安装jre→更改→ \java 之前目录和安装 jdk 目录相同即可 注：若无安装目录要求，可全默认设置。无需做任何修改，两次均直接点下一步。 安装完JDK后配置环境变量 计算机→属性→高级系统设置→高级→环境变量 系统变量→新建 JAVA_HOME 变...
大数据——在CentOS 7上安装和配置Scala
蜂蜜柚子加苦茶
10-30 461
在CentOS 7上安装和配置Scala下载安装 下载 Scala下载 安装 这边使用的是scala-2.11.12 把虚拟机的目录移动到根目录下的software目录下 [root@hadoop100 ~]# cd /software 把安装包拖进来 解压安装包到根目录下的opt目录下 [root@hadoop100 software]# tar -zxvf scala-2.11.12.tgz -C /opt 移动到根目录下的opt目录下 [root@hadoop100 software
centOS 6.10 hadoop+spark+hive+HBase集群搭建
07-31
hadoop+spark+hive Linux centos大数据集群搭建，简单易懂，从0到1搭建大数据集群
集群环境搭建-Centos+kafka+zookeeper+hadoop+Spark
12-19
通过VirtualBox安装多台虚拟机，实现集群环境搭建。 优势：一台电脑即可。 应用场景：测试，学习。 注意事项：请严格按照文档操作，作者已经按照文档操作实现环境搭建。 内附百度网盘下载地址，有hadoop+zookeeper+...
CentOS7+安装NVIDIA驱动及cuda
07-26
CentOS 7 安装 NVIDIA 驱动及 CUDA 在 CentOS 7 系统中安装 NVIDIA 驱动和 CUDA 是一个复杂的过程，需要一步步地完成。下面将详细介绍安装 NVIDIA 驱动和 CUDA 的步骤。 安装相关编译依赖 在安装 NVIDIA 驱动和 ...
CentOS Linux中搭建Hadoop和Spark集群详解.docx
06-06
在CentOS 7环境下搭建Hadoop集群，首先需要规划集群的架构，包括确定Namenode、SecondaryNamenode、Datanode、ResourceManager和NodeManager等节点的角色分配。Namenode是HDFS的主节点，负责元数据管理；...
spark 2.1.1安装（hadoop 2.6.0）
lovebomei的博客
09-13 1575
　spark分布式搭建方式大致分为三种：standalone、yarn、mesos。三种分类的区别这里就不一一介绍了，不明白可自行了解。standalone是官方提供的一种集群方式，企业一般不使用。yarn集群方式在企业中应用是比较广泛的，这里也是介绍yarn的集群安装方式。mesos安装适合于超大型集群。...
CentOS 7 安装Spark-2.1.1-bin-hadoop-2.7(standalone & yarn)
shufangreal的博客
01-16 1679
CentOS 7 安装Spark-2.1.1-bin-hadoop-2.7 1 local模式（1台节点） 这种版本主要是用来自己测试，自己玩一下内部Hive的连接与外部Hive的连接，这种模式安装很简单 ，官网下载地址 从官网下载对应的离线安装版本，上传到服务器。 解压tgz格式的离线安装包指定的目录。 更改目录名称 进入spark_home目录，在bin目录下启动spark-shell，不报错说明正常本地模式安成功。 1.1 使用local模式访问内部Hive # 解压 tar -zxvf spar
CentOS7 基于Hadoop2.7 的Spark2.0集群搭建
清晨随笔
01-10 452
目录(?)[+] 序言上传文件到各服务器安装配置Scala安装配置Spark配置集群启动集群测试Spark集群 序言 Hadoop 2.7 集群已搭建完毕. 参考“CentOS7 从零开始搭建 Hadoop2.7集群‘’。（node 192.168.169.131, node1 192.168.169.133, node2 192.
Hadoop+spark+hive全分布环境的搭建
zwx886688的博客
11-26 6711
一、基础环境配置 我采用的是三台虚拟主机，操作系统为centos7。hadoop版本为2.6  、hive2.1.1版本为（可自行到官网下载）、jdk7、Scala2.11.0、zookeeper3.4.5 二、安装教程 （1）jdk的安装 从官网自行下载jdk到本地，然后通过ftp传到linux系统上，直接解压，解压后配置环境变量，我的环境变量配置如下： JAVA_HOME=/usr/
spark对url的提取与统计
心如止水 宠辱不惊
06-01 2400
import java.net.URL import org.apache.spark.{SparkConf, SparkContext} /** * 取出学科点击前三的 * Created by root on 2016/5/16. */ object UrlCount { def main(args: Array[String]) { val conf = new
Hadoop+Spark + Hive高可用集群部署
woturanshihuaidexiao的博客
12-30 1523
Hadoop+Spark+Hive高可用分布式集群安装 集群规划 节点IP 节点别名 zookeeper节点 JournalNode节点 NodeManager节点 DataNode节点 zkfc节点 NameNode节点 ResourceManager节点 192.168.99.61 spark01 zookeeper JournalNode NodeManager Data...
CentOS+Hadoop+Spark+HBase+ElasticSearch环境
孤竹的博客
08-17 1126
软件等准备： Centos 6.5  ：  http://www.centoscn.com/CentosSoft/iso/2013/1205/2196.html U盘制作工具：雨林木风，电脑店，大白菜等   http://www.osyunwei.com/archives/2307.html jdk 1.8 hbase-1.2.2-bin.tar.gz spark-1.6
CentOS7下 Hadoop2.7.3+Spark2.1.0 集群环境搭建(1NN+2DN)
贾小黑的博客
04-03 1761
CentOS7下Hadoop2.7.3+Spark2.1.0集群环境搭建过程记录
centos安装hadoop-spark集群
叶小刀
06-21 1976
hadoop集群安装见：https://blog.csdn.net/qq_25948717/article/details/80299499 先去下载spark：https://mirrors.cnnic.cn/apache/，和scala：https://www.scala-lang.org/download/，因为 spark使用scala开发，要先安装scala。 解压到/home/...
VMware+CentOS+Hadoop+Spark：从安装到实战指南
这份资料提供了一个全面且系统的Spark安装和开发指南，适合对大数据分析和分布式计算感兴趣的读者学习和实践。无论是初次接触Spark的开发者还是有一定经验的工程师，都能从中找到所需的安装和开发技巧。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值