spark环境搭建(独立集群模式)

最新推荐文章于 2024-08-06 19:03:55 发布
最新推荐文章于 2024-08-06 19:03:55 发布
阅读量3.9k 收藏
点赞数
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/itfootball/article/details/52403946
版权

参考文章
Spark Standalone Mode
单机版Spark在Mac上简装笔记［0］
大数据利器：Spark的单机部署与测试笔记

spark 2.0.0

下载最新版本

2.0.0

解压后进入目录

解释

standalone模式为Master-Worker模式，在本地模拟集群模式

启动Master

> sbin/start-master.sh

打开http://localhost:8080/,界面如下:

这里写图片描述

启动Slave

这里写图片描述

根据图中红框标注的URL，开启我们的slave

> sbin/start-slave.sh spark://doctorqdeMacBook-Pro.local:7077

这个时候我们再刷新上面的页面http://localhost:8080/

这里写图片描述

可以看出多了一个Workers信息.

计算实例

shell

>./bin/run-example SparkPi 10

输出:

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
16/09/01 22:54:29 INFO SparkContext: Running Spark version 2.0.0
16/09/01 22:54:29 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
16/09/01 22:54:29 INFO SecurityManager: Changing view acls to: doctorq
16/09/01 22:54:29 INFO SecurityManager: Changing modify acls to: doctorq
16/09/01 22:54:29 INFO SecurityManager: Changing view acls groups to:
16/09/01 22:54:29 INFO SecurityManager: Changing modify acls groups to:
16/09/01 22:54:29 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users  with view permissions: Set(doctorq); groups with view permissions: Set(); users  with modify permissions: Set(doctorq); groups with modify permissions: Set()
16/09/01 22:54:30 INFO Utils: Successfully started service 'sparkDriver' on port 62953.
16/09/01 22:54:30 INFO SparkEnv: Registering MapOutputTracker
16/09/01 22:54:30 INFO SparkEnv: Registering BlockManagerMaster
16/09/01 22:54:30 INFO DiskBlockManager: Created local directory at /private/var/folders/n9/cdmr_pnj5txgd82gvplmtbh00000gn/T/blockmgr-d431b694-9fb8-42bf-b04a-286369d41ea2
16/09/01 22:54:30 INFO MemoryStore: MemoryStore started with capacity 366.3 MB
16/09/01 22:54:30 INFO SparkEnv: Registering OutputCommitCoordinator
16/09/01 22:54:30 INFO Utils: Successfully started service 'SparkUI' on port 4040.
16/09/01 22:54:30 INFO SparkUI: Bound SparkUI to 0.0.0.0, and started at http://192.168.0.101:4040
16/09/01 22:54:30 INFO SparkContext: Added JAR file:/Users/doctorq/Documents/Developer/spark-2.0.0-bin-hadoop2.7/examples/jars/scopt_2.11-3.3.0.jar at spark://192.168.0.101:62953/jars/scopt_2.11-3.3.0.jar with timestamp 1472741670647
16/09/01 22:54:30 INFO SparkContext: Added JAR file:/Users/doctorq/Documents/Developer/spark-2.0.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.0.0.jar at spark://192.168.0.101:62953/jars/spark-examples_2.11-2.0.0.jar with timestamp 1472741670649
16/09/01 22:54:30 INFO Executor: Starting executor ID driver on host localhost
16/09/01 22:54:30 INFO Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 62954.
16/09/01 22:54:30 INFO NettyBlockTransferService: Server created on 192.168.0.101:62954
16/09/01 22:54:30 INFO BlockManagerMaster: Registering BlockManager BlockManagerId(driver, 192.168.0.101, 62954)
16/09/01 22:54:30 INFO BlockManagerMasterEndpoint: Registering block manager 192.168.0.101:62954 with 366.3 MB RAM, BlockManagerId(driver, 192.168.0.101, 62954)
16/09/01 22:54:30 INFO BlockManagerMaster: Registered BlockManager BlockManagerId(driver, 192.168.0.101, 62954)
16/09/01 22:54:30 WARN SparkContext: Use an existing SparkContext, some configuration may not take effect.
16/09/01 22:54:31 INFO SharedState: Warehouse path is 'file:/Users/doctorq/Documents/Developer/spark-2.0.0-bin-hadoop2.7/spark-warehouse'.
16/09/01 22:54:31 INFO SparkContext: Starting job: reduce at SparkPi.scala:38
16/09/01 22:54:31 INFO DAGScheduler: Got job 0 (reduce at SparkPi.scala:38) with 10 output partitions
16/09/01 22:54:31 INFO DAGScheduler: Final stage: ResultStage 0 (reduce at SparkPi.scala:38)
16/09/01 22:54:31 INFO DAGScheduler: Parents of final stage: List()
16/09/01 22:54:31 INFO DAGScheduler: Missing parents: List()
16/09/01 22:54:31 INFO DAGScheduler: Submitting ResultStage 0 (MapPartitionsRDD[1] at map at SparkPi.scala:34), which has no missing parents
16/09/01 22:54:31 INFO MemoryStore: Block broadcast_0 stored as values in memory (estimated size 1832.0 B, free 366.3 MB)
16/09/01 22:54:31 INFO MemoryStore: Block broadcast_0_piece0 stored as bytes in memory (estimated size 1169.0 B, free 366.3 MB)
16/09/01 22:54:31 INFO BlockManagerInfo: Added broadcast_0_piece0 in memory on 192.168.0.101:62954 (size: 1169.0 B, free: 366.3 MB)
16/09/01 22:54:31 INFO SparkContext: Created broadcast 0 from broadcast at DAGScheduler.scala:1012
16/09/01 22:54:31 INFO DAGScheduler: Submitting 10 missing tasks from ResultStage 0 (MapPartitionsRDD[1] at map at SparkPi.scala:34)
16/09/01 22:54:31 INFO TaskSchedulerImpl: Adding task set 0.0 with 10 tasks
16/09/01 22:54:31 INFO TaskSetManager: Starting task 0.0 in stage 0.0 (TID 0, localhost, partition 0, PROCESS_LOCAL, 5478 bytes)
16/09/01 22:54:31 INFO TaskSetManager: Starting task 1.0 in stage 0.0 (TID 1, localhost, partition 1, PROCESS_LOCAL, 5478 bytes)
16/09/01 22:54:31 INFO TaskSetManager: Starting task 2.0 in stage 0.0 (TID 2, localhost, partition 2, PROCESS_LOCAL, 5478 bytes)
16/09/01 22:54:31 INFO TaskSetManager: Starting task 3.0 in stage 0.0 (TID 3, localhost, partition 3, PROCESS_LOCAL, 5478 bytes)
16/09/01 22:54:31 INFO Executor: Running task 1.0 in stage 0.0 (TID 1)
16/09/01 22:54:31 INFO Executor: Running task 0.0 in stage 0.0 (TID 0)
16/09/01 22:54:31 INFO Executor: Running task 2.0 in stage 0.0 (TID 2)
16/09/01 22:54:31 INFO Executor: Running task 3.0 in stage 0.0 (TID 3)
16/09/01 22:54:31 INFO Executor: Fetching spark://192.168.0.101:62953/jars/scopt_2.11-3.3.0.jar with timestamp 1472741670647
16/09/01 22:54:31 INFO TransportClientFactory: Successfully created connection to /192.168.0.101:62953 after 45 ms (0 ms spent in bootstraps)
16/09/01 22:54:31 INFO Utils: Fetching spark://192.168.0.101:62953/jars/scopt_2.11-3.3.0.jar to /private/var/folders/n9/cdmr_pnj5txgd82gvplmtbh00000gn/T/spark-ca630415-5293-4442-950c-0dd300afce94/userFiles-ece307aa-39b1-4125-bb8f-c336385f0543/fetchFileTemp6343692004556899262.tmp
16/09/01 22:54:32 INFO Executor: Adding file:/private/var/folders/n9/cdmr_pnj5txgd82gvplmtbh00000gn/T/spark-ca630415-5293-4442-950c-0dd300afce94/userFiles-ece307aa-39b1-4125-bb8f-c336385f0543/scopt_2.11-3.3.0.jar to class loader
16/09/01 22:54:32 INFO Executor: Fetching spark://192.168.0.101:62953/jars/spark-examples_2.11-2.0.0.jar with timestamp 1472741670649
16/09/01 22:54:32 INFO Utils: Fetching spark://192.168.0.101:62953/jars/spark-examples_2.11-2.0.0.jar to /private/var/folders/n9/cdmr_pnj5txgd82gvplmtbh00000gn/T/spark-ca630415-5293-4442-950c-0dd300afce94/userFiles-ece307aa-39b1-4125-bb8f-c336385f0543/fetchFileTemp5957043619844169017.tmp
16/09/01 22:54:32 INFO Executor: Adding file:/private/var/folders/n9/cdmr_pnj5txgd82gvplmtbh00000gn/T/spark-ca630415-5293-4442-950c-0dd300afce94/userFiles-ece307aa-39b1-4125-bb8f-c336385f0543/spark-examples_2.11-2.0.0.jar to class loader
16/09/01 22:54:32 INFO Executor: Finished task 1.0 in stage 0.0 (TID 1). 1032 bytes result sent to driver
16/09/01 22:54:32 INFO Executor: Finished task 3.0 in stage 0.0 (TID 3). 1032 bytes result sent to driver
16/09/01 22:54:32 INFO Executor: Finished task 0.0 in stage 0.0 (TID 0). 1032 bytes result sent to driver
16/09/01 22:54:32 INFO Executor: Finished task 2.0 in stage 0.0 (TID 2). 945 bytes result sent to driver
16/09/01 22:54:32 INFO TaskSetManager: Starting task 4.0 in stage 0.0 (TID 4, localhost, partition 4, PROCESS_LOCAL, 5478 bytes)
16/09/01 22:54:32 INFO Executor: Running task 4.0 in stage 0.0 (TID 4)
16/09/01 22:54:32 INFO TaskSetManager: Starting task 5.0 in stage 0.0 (TID 5, localhost, partition 5, PROCESS_LOCAL, 5478 bytes)
16/09/01 22:54:32 INFO TaskSetManager: Starting task 6.0 in stage 0.0 (TID 6, localhost, partition 6, PROCESS_LOCAL, 5478 bytes)
16/09/01 22:54:32 INFO Executor: Running task 6.0 in stage 0.0 (TID 6)
16/09/01 22:54:32 INFO TaskSetManager: Finished task 3.0 in stage 0.0 (TID 3) in 515 ms on localhost (1/10)
16/09/01 22:54:32 INFO TaskSetManager: Finished task 1.0 in stage 0.0 (TID 1) in 522 ms on localhost (2/10)
16/09/01 22:54:32 INFO TaskSetManager: Starting task 7.0 in stage 0.0 (TID 7, localhost, partition 7, PROCESS_LOCAL, 5478 bytes)
16/09/01 22:54:32 INFO Executor: Running task 7.0 in stage 0.0 (TID 7)
16/09/01 22:54:32 INFO TaskSetManager: Finished task 2.0 in stage 0.0 (TID 2) in 523 ms on localhost (3/10)
16/09/01 22:54:32 INFO Executor: Running task 5.0 in stage 0.0 (TID 5)
16/09/01 22:54:32 INFO TaskSetManager: Finished task 0.0 in stage 0.0 (TID 0) in 592 ms on localhost (4/10)
16/09/01 22:54:32 INFO Executor: Finished task 6.0 in stage 0.0 (TID 6). 872 bytes result sent to driver
16/09/01 22:54:32 INFO TaskSetManager: Starting task 8.0 in stage 0.0 (TID 8, localhost, partition 8, PROCESS_LOCAL, 5478 bytes)
16/09/01 22:54:32 INFO TaskSetManager: Finished task 6.0 in stage 0.0 (TID 6) in 48 ms on localhost (5/10)
16/09/01 22:54:32 INFO Executor: Finished task 7.0 in stage 0.0 (TID 7). 872 bytes result sent to driver
16/09/01 22:54:32 INFO Executor: Running task 8.0 in stage 0.0 (TID 8)
16/09/01 22:54:32 INFO TaskSetManager: Starting task 9.0 in stage 0.0 (TID 9, localhost, partition 9, PROCESS_LOCAL, 5478 bytes)
16/09/01 22:54:32 INFO TaskSetManager: Finished task 7.0 in stage 0.0 (TID 7) in 47 ms on localhost (6/10)
16/09/01 22:54:32 INFO Executor: Running task 9.0 in stage 0.0 (TID 9)
16/09/01 22:54:32 INFO Executor: Finished task 5.0 in stage 0.0 (TID 5). 872 bytes result sent to driver
16/09/01 22:54:32 INFO TaskSetManager: Finished task 5.0 in stage 0.0 (TID 5) in 93 ms on localhost (7/10)
16/09/01 22:54:32 INFO Executor: Finished task 4.0 in stage 0.0 (TID 4). 872 bytes result sent to driver
16/09/01 22:54:32 INFO TaskSetManager: Finished task 4.0 in stage 0.0 (TID 4) in 106 ms on localhost (8/10)
16/09/01 22:54:32 INFO Executor: Finished task 8.0 in stage 0.0 (TID 8). 959 bytes result sent to driver
16/09/01 22:54:32 INFO TaskSetManager: Finished task 8.0 in stage 0.0 (TID 8) in 71 ms on localhost (9/10)
16/09/01 22:54:32 INFO Executor: Finished task 9.0 in stage 0.0 (TID 9). 872 bytes result sent to driver
16/09/01 22:54:32 INFO TaskSetManager: Finished task 9.0 in stage 0.0 (TID 9) in 71 ms on localhost (10/10)
16/09/01 22:54:32 INFO TaskSchedulerImpl: Removed TaskSet 0.0, whose tasks have all completed, from pool
16/09/01 22:54:32 INFO DAGScheduler: ResultStage 0 (reduce at SparkPi.scala:38) finished in 0.722 s
16/09/01 22:54:32 INFO DAGScheduler: Job 0 finished: reduce at SparkPi.scala:38, took 1.061299 s
Pi is roughly 3.1395391395391394
16/09/01 22:54:32 INFO SparkUI: Stopped Spark web UI at http://192.168.0.101:4040
16/09/01 22:54:32 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
16/09/01 22:54:32 INFO MemoryStore: MemoryStore cleared
16/09/01 22:54:32 INFO BlockManager: BlockManager stopped
16/09/01 22:54:32 INFO BlockManagerMaster: BlockManagerMaster stopped
16/09/01 22:54:32 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
16/09/01 22:54:32 INFO SparkContext: Successfully stopped SparkContext
16/09/01 22:54:32 INFO ShutdownHookManager: Shutdown hook called
16/09/01 22:54:32 INFO ShutdownHookManager: Deleting directory /private/var/folders/n9/cdmr_pnj5txgd82gvplmtbh00000gn/T/spark-ca630415-5293-4442-950c-0dd300afce94

进入scala console

> ./bin/spark-shell --master local[2]

这里写图片描述

进入python console

> ./bin/pyspark --master local[2]

这里写图片描述

python api

这里写图片描述

R example

这里写图片描述

R shell

这里写图片描述

Q博士
关注
专栏目录
大数据Flink（四）：Standalone独立集群模式
Lansonli（蓝深李）的博客
04-24 1338
目录 ​​​​​​​Standalone独立集群模式 原理 ​​​​​​​操作 1.集群规划: 2.修改flink-conf.yaml 3.修改masters 4.修改slaves 5.添加HADOOP_CONF_DIR环境变量 6.分发 7.source ​​​​​​​测试 1.启动集群，在node1上执行如下命令 2.启动历史服务器 3.访问Flink UI界面或使用jps查看 4.执行官方测试案例 5.查看历史日志 6.停止Flink集群 Standalone独立集
大数据Spark（六）：环境搭建集群模式 Standalone
Lansonli（蓝深李）的博客
04-10 1143
StandAlone就是将Spark的角色，以独立的进程的形式运行在服务器上。
Spark环境搭建之Standalone独立集群
大数据跟我学i
03-10 204
文章目录原理操作测试1.集群启动和停止2.jps查看进程3.http://node01:8080/4.启动spark-shell5.提交WordCount任务6.查看结果7.查看spark任务web-ui 原理 操作 集群规划 node01:master ndoe02:worker/slave 配置slaves/workers 进入配置目录： cd /export/servers/spark/conf 修改配置文件名称： mv slaves.template slaves vim slaves
spark Standalone ha 集群部署
最新发布
qq_24141759的博客
08-06 901
准备三台服务器，配置好对应主机的网络IP、主机名称、关闭防火墙、主机名masterslavescdh101√√cdh102√cdh103√用于Worker的Web UI用于Worker的Web UI应用程序（Driver和Executor）使用的端口5050、4040用于Executor的启动和Driver的回调。外部服务使用的端口（如Spark History Server18080用于Spark History Server的Web UI。
spark安装之Standalone集群模式
王傲旗的大数据之路
04-03 516
集群角色介绍 Spark是基于内存计算的大数据并行计算框架，实际中运行计算任务肯定是使用集群模式，那么我们先来学习Spark自带的standalone集群模式了解一下它的架构及运行机制。 Standalone集群使用了分布式计算中的master-slave模型， master是集群中含有master进程的节点 slave是集群中的worker节点含有Executor进程 ●Spark架构图如下...
Spark独立集群安装
wux_labs的博客
12-14 1015
Spark独立集群的安装，至少需要3台服务器，在安装Spark之前准备好3台服务器，服务器的主机名及IP地址分别是：node1（10.0.0.5)、node2（10.0.0.6）、node3（10.0.0.7），每台服务器都需要按统一规划安装好Java、Python、Spark软件包。
spark的独立模式集群部署
liuxuejiang158的专栏
07-08 3000
spark有三种集群部署方式： 1、独立部署模式standalone，spark自身有一套完整的资源管理方式 2、架构于hadoop之上的spark集群 3、架构于mesos之上的spark集群     尝试了下搭建第一种独立部署模式集群，将安装方式记录如下： 环境ubuntu 12.04 （两台），部署方式是和hadoop类似，先在一台机器上部署成功后直接将文件打包拷贝到其他机
从零开始搭建spark集群环境
白学病患者的专栏
04-21 5426
CentOS7.9 + Hadoop 3.2.3 + Spark3.2.1 + Anaconda3
大数据Spark（十）：环境搭建集群模式 Spark on YARN
Lansonli（蓝深李）的博客
04-11 999
不需要搭建Spark集群只需要:Yarn+单机版Spark(里面有提交命令,依赖jar,示例jar)当然还要一些配置修改配置当Spark Application运行到YARN上时，在提交应用时指定master为yarn即可，同时需要告知YARN集群配置信息（比如ResourceManager地址信息），此外需要监控Spark Application，配置历史服务器相关属性。修改spark-env.sh添加内容## HADOOP软件配置文件目录，读取HDFS上文件和运行YARN集群同步。
大数据之Spark环境搭建
weixin_43339889的博客
03-19 1114
本文主要介绍Spark相关环境搭建
Spark基础学习笔记05：搭建Spark Standalone集群
lwmzl00的博客
06-17 1105
文章目录 零、本讲学习目标 搭建Spark Standalone模式的集群 能够启动Spark Standalone模式的集群 学会Spark应用程序的提交 Spark的两种集群运行模式：Spark Standalone模式和Spark On YARN模式。Standalone模式需要启动Spark集群，而Spark On YARN模式不需要启动Spark集群，只需要启动YARN集群即可。先来搭建Spark Standalone模式的集群。一、Spark Standalone架构 Spark Standal
独立部署模式standalone下spark的配置
12-23
独立部署模式standalone下spark配置,从乌班图到jak,scala,hadoop,spark的安装 部署
Spark Standalone独立集群模式搭建
weixin_44442434的博客
06-29 313
Standalone（独立集群模式） 原理： 操作： 1.集群规划 node1：master node2：worker/slave node3：worker/slave 2.修改slaves 进入配置目录：spark中的conf目录中 修改配置文件名称：mv workers.template workers 修改配置文件内容： vim slaves node2 node3 3.修改spark-env.sh 进入配置目录：spark中的conf 修改配置文件名称：mv.
Hadoop的单节点集群设置(独立模式)
关注我！带你一路 "狂飙" 到底！
06-30 827
在前两篇文章中，我们对Hadoop进行了简单的概述。接下来，我们就来了解一下Hadoop集群的安装。而Hadoop的安装模式有以下三种，我们一一来了解一下： 单节点上的本地模式(独立模式) ：Local（Standalone）Mode 单节点的伪分布模式：Pseudo-Distributed Mode 多节点的安全分布式集群模式：Fully-Distributed Cluster 1 本地模式介绍 1.1 特点： 运行在单台机器上，没有分布式思想，使用的是本地文件系统 1.2. 用途 用于对M
Spark单独集群模式部署
草宝虫的博客
12-17 408
目录 网络配置 SSH 免密码登录 部署 执行测试 网络配置 192.168.81.157 node1 master 192.168.81.158 node2 slave1 192.168.81.159 node3 slave2 相同的配置先在一个节点上配置，配置完成后复制到其它节点上。 vi /etc/hosts 192.168.81.157 node1 ...
Spark独立集群模式部署
demonwang1025的博客
02-23 652
Spark独立集群模式部署 1.local:本地模式，不是集群模式 2.独立集群模式 2.1 配置conf/slaves Slave1 Slave2 Slave3 2.2 同步conf文件到所有集群节点 2.3 在Master节点启动master进程，start-master.sh 2.4 在Slave节点上启动slave进程start-slave.sh（或直接在ma
Spark 分布式环境--连接独立集群管理器
weixin_30455023的博客
11-30 84
Spark 分布式环境：master，worker 节点都配置好的情况下 ： 却无法通过spark-shell连接到 独立集群管理器 spark-shell --master spark://soyo-VPCCB3S1C:7077 问题处理： 原因：因为前期在非分布式情况下使用Spark通过JDBC连接过mysql还有使用过hive等 解决： cp ./hive-site....
spark独立集群管理器的安装配置
RedStarOfSleep's Blog
07-19 988
我是在ubuntu14.04上安装配置spark的。spark的版本是2.3.0。 首先是很重要的准备工作，配置各台机器的主机名hostname。可先输入命令hostname查看机器的当前主机名。 编辑/etc/hostname，修改主机名，每台机器都改成不一样的。改完后再输入hostname查看，会发现没变，改了这个文件是要重启后才会变的。直接执行hostname <主机名>即可...
深度解析 Spark（进阶）：架构、集群运行机理与核心组件详解
KKwan的博客
04-13 3032
Spark 应用程序作为集群上独立的进程集运行，由SparkContext 主程序（称为驱动程序）中的对象进行协调。具体来说，为了在集群上运行，SparkContext 可以连接到多种类型的集群管理器 （Spark 自己的独立集群管理器、Mesos、YARN 或 Kubernetes），这些集群管理器跨应用程序分配资源。连接后，Spark 会获取集群中节点上的执行程序，这些执行程序是为应用程序运行计算和存储数据的进程。
Spark实战：零基础搭建Spark集群指南
Spark集群通常基于Apache Mesos、Hadoop YARN或独立模式运行。在搭建过程中，你需要配置Master节点和Worker节点，设置环境变量，如SPARK_HOME、HADOOP_CONF_DIR等，并确保所有节点间网络通信畅通。在独立模式下，你...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值