Spark环境搭建

最新推荐文章于 2024-05-29 12:59:38 发布
最新推荐文章于 2024-05-29 12:59:38 发布
阅读量740 收藏 1
点赞数
分类专栏： # spark 文章标签： spark 大数据 scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_56058578/article/details/130197379
版权

Spark运行环境

Spark作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为Yarn，不过逐渐容器式环境也慢慢流行起来。接下来，我们就分别看看不同环境下Spark的运行

Local模式

Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境，一般用于教学，调试，演示等

1）将压缩包上传至Linux并解压到指定目录

[root@kk01 opt]# tar -zxvf spark-3.2.0-bin-hadoop3.2-scala2.13.tgz -C /opt/software/
[root@kk01 opt]# cd /opt/software/
[root@kk01 software]# mv spark-3.2.0-bin-hadoop3.2-scala2.13 spark-local

2）启动Local环境

# 进入解压缩后的路径，执行如下指令
[root@kk01 software]# cd spark-local/
[root@kk01 spark-local]# bin/spark-shell
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 3.2.0
      /_/
         
Using Scala version 2.13.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_152)
Type in expressions to have them evaluated.
Type :help for more information.
23/04/13 07:08:48 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Spark context Web UI available at http://kk01:4040
Spark context available as 'sc' (master = local[*], app id = local-1681384129891).
Spark session available as 'spark'.

scala>

3）输入网址进入web ui监控页面访问

http://kk01:4040   # 注意，这里的kk01是在hosts文件配置了ip地址映射，如果没有，默认填写ip

4）简单使用命令行根据

spark-local/data目录中，添加word.txt文件。在命令行工具中执行如下代码指令（和IDEA中代码简化版一致）

5）退出Local本地模式

两种方式：

1、直接按ctrl+c

2、输入Scala指令

:quit

6）提交应用

[root@kk01 bin]# /spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.13-3.2.0.jar \
10

# --class 表示要执行的程序的主类（可以可以根据我们自己编写的程序做出相应修改）
# --master local[2] 部署模式，默认为本地模式，数字表示分配的虚拟cpu核数量
# spark-examples_2.13-3.2.0.jar 运行的应用类所在的jar包（实际使用时可设定为我们自己打的jar报）
# 数字10表示程序的入口参数，用于设定当前应用的任务数量

Standalone模式

真实工作中还是要将应用提交到对应的集群中去执行，这里我们来看看只使用Spark自身节点运行的集群模式，也就是我们所谓的独立部署（Standalone）模式。Spark的Standalone模式体现了经典的master-slave模式

集群规划

kk01	Worker Master

kk02	Worker

kk03	worker

1）将压缩包上传至Linux并解压到指定目录

[root@kk01 opt]# tar -zxvf spark-3.2.0-bin-hadoop3.2-scala2.13.tgz -C /opt/software/
[root@kk01 opt]# cd /opt/software/
[root@kk01 software]# mv spark-3.2.0-bin-hadoop3.2-scala2.13 spark-standalone

2）修改配置文件

  • 进入spark-standalone/conf目录，修改workers.template文件名为workes
[root@kk01 software]# cd spark-standalone/conf/
[root@kk01 conf]# mv workers.template workers
  • 修改workes文件，添加worker节点
[root@kk01 conf]# vim workers
# 将文件内容替换为如下

kk01
kk02
kk03
  • 修改spark-env.sh.template文件名为spark-env.sh
[root@kk01 software]# cd /opt/software/spark-standalone/conf/
[root@kk01 software]# mv spark-env.sh.template spark-env.sh
  • 修改spark-env.sh文件，添加JAVA_HOME环境变量和集群对应的master节点
[root@kk01 conf]# vim spark-env.sh 
# 在文件末尾添加如下内容

export JAVA_HOME=/opt/software/jdk1.8.0_152
SPARK_MASTER_HOST=kk01
SPARK_MASTER_PORT=7077

# 注意：7077端口，相当于hadoop3内部通信的8020端口，此处的端口需要确认自己的Hadoop

3）分发spark-standalone目录

# 使用scp或rsync分发，scp或rsync区别在于 scp是完全拷贝 rsync只对差异文件进行拷贝
# 由于是第一次配置standalone模式，因此这里使用scp
[root@kk01 software]# scp -r /opt/software/spark-standalone/ root@kk02: /opt/software/spark-standalone/
[root@kk01 software]# scp -r /opt/software/spark-standalone/ root@kk02: /opt/software/spark-standalone/

# 如果定义了分发脚本 xsync ，则使用自定义脚本
[root@kk01 software]# xsync spark-standalone

4）启动集群

[root@kk01 spark-standalone]# sbin/start-all.sh

5）查看服务器进程

[root@kk01 spark-standalone]# jps
2480 Master
2695 Jps
2586 Worker

[root@kk02 ~]# jps
2497 Jps
2414 Worker

[root@kk03 ~]# jps
2416 Worker
2499 Jps

6）查看Master资源监控Web UI界面

http://kk02:8080     # kk01这里默认是填写服务器ip，但是我们在hosts文件里映射了ip，因此填主机名也可以

7）提交应用

[root@kk01 spark-standalone]# bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://linux1:7077 \
./examples/jars/spark-examples_2.13-3.2.0.jar \
10

# --class 表示要执行的程序的主类（可以可以根据我们自己编写的程序做出相应修改）
# --master spark://kk01:7077 独立部署模式，连接到Spark集群
# spark-examples_2.13-3.2.0.jar 运行的应用类所在的jar包
# 数字10表示程序的入口参数，用于设定当前应用的任务数量

  • 执行任务时，会产生多个Java进程

    ​ CoarseGrainedExecutorBackend 执行节点进程

    ​ SparkSumbit 提交节点进程

  • 执行任务时，默认采用服务器集群节点的总核数，每个节点内存1024M。

提交参数说明

在提交应用中，一般会同时一些提交参数

bin/spark-submit \
--class <main-class>
--master <master-url> \
... # other options
<application-jar> \
[application-arguments]
参数解释可选值举例
–classSpark程序中包含主函数的类
–masterSpark程序运行的模式(环境)模式：local[*]spark://linux1:7077、Yarn
–executor-memory 1G指定每个executor可用内存为1G
–total-executor-cores 2指定所有executor使用的cpu核数为2个
–executor-cores指定每个executor使用的cpu核数
application-jar打包好的应用jar，包含依赖。这个URL在集群中全局可见。 比如hdfs:// 共享存储系统，如果是file://path，那么所有的节点的path都包含同样的jar
application-arguments传给main()方法的参数

配置历史服务器

由于spark-shell停止掉后，集群监控kk01:4040页面就看不到历史任务的运行情况，所以开发时都配置历史服务器记录任务运行情况。

1）修改spark-defaults.conf.template文件名为spark-defaults.conf

[root@kk01 conf]# cd /opt/software/spark-standalone/conf/
[root@kk01 conf]# mv spark-defaults.conf.template spark-defaults.conf

2）修改spark-default.conf文件，配置日志存储路径

[root@kk01 conf]# vim spark-defaults.conf 
# 在文件末尾加入如下内容

spark.eventLog.enabled          true
spark.eventLog.dir               hdfs://kk01:8020/directory

注意：

​ 需要启动hadoop集群，HDFS上的directory目录需要提前存在。

3）在创建HDFS上的directory目录

[root@kk01 conf]# start-dfs.sh   # Hadoop配置了环境变量，脚本全局可用
[root@kk01 conf]# hadoop fs -mkdir /directory

4）修改spark-env.sh文件, 添加日志配置

[root@kk01 conf]# pwd
/opt/software/spark-standalone/conf
[root@kk01 conf]# vim spark-env.sh 

# 在文件中添加如下内容
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://kk01:8020/directory 
-Dspark.history.retainedApplications=30"

# 参数说明
#	参数1含义：WEB UI访问的端口号为18080
#	参数2含义：指定历史服务器日志存储路径
#	参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数

5）分发配置文件

# 使用rsync命名更新差异文件    
# 因为我们只更改了conf目录下的文件，因此只分发conf目录即可
[root@kk01 spark-standalone]# rsync -av /opt/software/spark-standalone/conf/ root@kk02:/opt/software/spark-standalone/conf/

[root@kk01 spark-standalone]# rsync -av /opt/software/spark-standalone/conf/ root@kk02:/opt/software/spark-standalone/conf/

# 参数说明
#	-a 归档拷贝
#	-v 显示拷贝过程

6）重新启动集群和历史服务

# 先确保hdfs集群、spark集群关闭
[root@kk01 spark-standalone]# stop-dfs.sh 
[root@kk01 spark-standalone]# sbin/stop-all.sh 

# 重启
[root@kk01 spark-standalone]# start-dfs.sh 
[root@kk01 spark-standalone]# sbin/start-all.sh 
[root@kk01 spark-standalone]# sbin/start-history-server.sh

7）查看进程

[root@kk01 spark-standalone]# jps
5921 Master
6052 Worker
5558 DataNode
5371 NameNode
6235 Jps
6174 HistoryServer

3716 SecondaryNameNode
3816 Worker
3577 DataNode
3915 Jps

[root@kk03 ~]# jps
3344 DataNode
3476 Worker
3575 Jps

8）重新执行任务

[root@kk01 spark-standalone]# bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://linux1:7077 \
./examples/jars/spark-examples_2.13-3.2.0.jar \
10

9）查看历史服务

确保历史服务可用

http://kk01:18080/

配置高可用（HA）

当前集群中的Master节点只有一个，所以会存在单点故障问题。所以为了解决单点故障问题，需要在集群中配置多个Master节点，一旦处于活动状态的Master发生故障时，由备用Master提供服务，保证作业可以继续执行。这里的高可用一般采用Zookeeper设置

集群规划

kk01	Worker ZooKeeper Master

kk02	Worker ZooKeeper Master

kk03	Worker ZooKeeper

1）停止集群（可选）

在确保hdfs集群、spark集群停止的情况下，才开始配置HA

[root@kk01 spark-standalone]# sbin/stop-all.sh 
[root@kk01 spark-standalone]# stop-dfs.sh

2）启动Zookeeper集群

[root@kk01 spark-standalone]# zkServer.sh start
[root@kk02 ~]# zkServer.sh start
[root@kk03 ~]# zkServer.sh start

# 也可以使用自定义脚本启动集群（如果你定义了的话）
[root@kk01 spark-standalone]# xzk.sh start

3）修改spark-env.sh文件添加如下配置

[root@kk01 conf]# pwd
/opt/software/spark-standalone/conf
[root@kk01 conf]# vim spark-env.sh 

注释如下内容：
#SPARK_MASTER_HOST=linux1
#SPARK_MASTER_PORT=7077

添加如下内容:
#Master监控页面默认访问端口为8080，但是可能会和Zookeeper冲突，所以改成8989，也可以自定义，访问UI监控页面时请注意
SPARK_MASTER_WEBUI_PORT=8989

export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER 
-Dspark.deploy.zookeeper.url=kk01,kk02,kk03 
-Dspark.deploy.zookeeper.dir=/spark"

参考配置文件如下

export JAVA_HOME=/opt/software/jdk1.8.0_152
#SPARK_MASTER_HOST=kk01
#SPARK_MASTER_PORT=7077

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://kk01:8020/directory 
-Dspark.history.retainedApplications=30"

#Master监控页面默认访问端口为8080，但是可能会和Zookeeper冲突，所以改成8989，也可以自定义，访问UI监控页面时请注意
SPARK_MASTER_WEBUI_PORT=8989

export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER 
-Dspark.deploy.zookeeper.url=kk01,kk02,kk03 
-Dspark.deploy.zookeeper.dir=/spark"

4）分发配置文件

[root@kk01 conf]# rsync -av /opt/software/spark-standalone/conf/ root@kk02:/opt/software/spark-standalone/conf/
[root@kk01 conf]# rsync -av /opt/software/spark-standalone/conf/ root@kk02:/opt/software/spark-standalone/conf/

5）启动集群

启动spark集群前先启动hdfs集群，确定历史服务器正常，当然也需要确保zookeeper集群正常启动

[root@kk01 conf]# start-dfs.sh  # 启动hdfs集群
[root@kk01 spark-standalone]# pwd
/opt/software/spark-standalone
[root@kk01 spark-standalone]# sbin/start-all.sh 

[root@kk01 spark-standalone]# sbin/start-history-server.sh 		# 启动历史服务进程

6） 启动kk02的单独Master节点，此时kk02节点Master状态处于备用状态

[root@kk02 ~]# cd /opt/software/spark-standalone/
[root@kk02 spark-standalone]# sbin/start-master.sh

7）查看进程

[root@kk01 spark-standalone]# jps
7697 NameNode
8385 Worker
8504 Jps
7289 QuorumPeerMain
8250 Master
7884 DataNode
6174 HistoryServer   # 历史服务器进程

[root@kk02 spark-standalone]# jps
4688 SecondaryNameNode
4546 DataNode
4315 QuorumPeerMain
5003 Jps
4909 Master   # 备份master
4798 Worker

[root@kk03 ~]# jps
4256 Worker
4347 Jps
3884 QuorumPeerMain
4111 DataNode

8）提交应用到高可用集群

[root@kk01 spark-standalone]# bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://kk01:7077,kk02:7077 \
./examples/jars/spark-examples_2.13-3.2.0.jar \
10

9）查看kk01的Master 资源监控Web UI

http://kk01:8989/

发现状态为 Status: ALIVE

10）手动停止kk01的Master资源监控进程

[root@kk01 spark-standalone]# jps
7697 NameNode
8385 Worker
7289 QuorumPeerMain
8250 Master
7884 DataNode
6174 HistoryServer
8910 Jps
[root@kk01 spark-standalone]# kill -9 8250

11) 查看kk02的Master 资源监控Web UI，稍等一段时间后，kk02节点的Master状态提升为活动状态

http://kk02:8989/

转台变化

​ Status:STANDBY ====> Status: ALIVE

Yarn模式

独立部署（Standalone）模式由Spark自身提供计算资源，无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但是你也要记住，**Spark主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，所以还是和其他专业的资源调度框架集成会更靠谱一些。**所以接下来我们来学习在强大的Yarn环境下Spark是如何工作的（其实是因为在国内工作中，Yarn使用的非常多）。

1）上传并解压缩文件

将spark-3.2.0-bin-hadoop3.2-scala2.13.tgz文件上传到linux并解压缩，放置在指定位置。

[root@kk01 ~]# cd /opt/software/
[root@kk01 software]# rz

[root@kk01 software]# tar -zxvf spark-3.2.0-bin-hadoop3.2-scala2.13.tgz -C /opt/software/

2）重命名

[root@kk01 software]# mv spark-3.2.0-bin-hadoop3.2-scala2.13/ spark-yarn

3）修改配置文件
修改hadoop配置文件/opt/software/hadoop-3.2.2/etc/hadoop/yarn-site.xml

[root@kk01 hadoop]# pwd
/opt/software/hadoop-3.2.2/etc/hadoop
[root@kk01 hadoop]# vim yarn-site.xml 

# 添加如下内容
 <!-- 是否将对容器实施物理内存限制 生产中可产生改配置-->
<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.pmem-check-enabled</name>
     <value>false</value>
</property>
 <!-- 是否将对容器实施虚拟内存限制 生产中可产生改配置-->
<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
</property>

4）同步修改的文件至所有服务器

[root@kk01 hadoop]# rsync -av /opt/software/hadoop-3.2.2/etc/hadoop/ root@kk02:/opt/software/hadoop-3.2.2/etc/hadoop/

[root@kk01 hadoop]# rsync -av /opt/software/hadoop-3.2.2/etc/hadoop/ root@kk03:/opt/software/hadoop-3.2.2/etc/hadoop/

5) 修改conf/spark-env.sh，添加JAVA_HOME和YARN_CONF_DIR配置

[root@kk01 hadoop]# cd /opt/software/spark-yarn/conf/
[root@kk01 conf]# mv spark-env.sh.template spark-env.sh
# 添加如下内容
export JAVA_HOME=/opt/software/jdk1.8.0_152
YARN_CONF_DIR=/opt/software/hadoop-3.2.2/etc/hadoop

6）启动HDFS集群、YARN集群

# 我们配置过Hadoop环境变量，因此可以直接使用脚本一键启动
[root@kk01 conf]# start-dfs.sh 
[root@kk01 conf]# start-yarn.sh

7）提交应用

[root@kk01 spark-yarn]# pwd
/opt/software/spark-yarn
[root@kk01 spark-yarn]# bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.13-3.2.0.jar \
10

查看http://kk01:8088页面，查看历史页面，查看任务调度情况，点击History，查看历史页面

配置历史服务器

1）修改spark-defaults.conf.template文件名为spark-defaults.conf

[root@kk01 spark-yarn]# cd conf/
[root@kk01 conf]# pwd
/opt/software/spark-yarn/conf
[root@kk01 conf]# mv spark-defaults.conf.template spark-defaults.conf

2）修改spark-default.conf文件**，配置日志存储路径**

[root@kk01 conf]# vim spark-defaults.conf 
# 在文件末尾加入如下内容

spark.eventLog.enabled          true
spark.eventLog.dir               hdfs://kk01:8020/directory

注意：

​ 需要启动hadoop集群，HDFS上的directory目录需要提前存在。

3）在创建HDFS上的directory目录

[root@kk01 conf]# start-dfs.sh   # Hadoop配置了环境变量，脚本全局可用
[root@kk01 conf]# hadoop fs -mkdir /directory

4）修改spark-env.sh文件, 添加日志配置

[root@kk01 conf]# pwd
/opt/software/spark-standalone/conf
[root@kk01 conf]# vim spark-env.sh 

# 在文件中添加如下内容
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://kk01:8020/directory 
-Dspark.history.retainedApplications=30"

# 参数说明
#	参数1含义：WEB UI访问的端口号为18080
#	参数2含义：指定历史服务器日志存储路径
#	参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数

5）修改spark-defaults.conf

[root@kk01 conf]# vim spark-defaults.conf 


spark.yarn.historyServer.address=kk01:18080
spark.history.ui.port=18080

6）启动历史服务器

[root@kk01 conf]# cd ..
[root@kk01 spark-yarn]# sbin/start-history-server.sh

7）重新提交应用

[root@kk01 spark-yarn]# bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.13-3.2.0.jar \
10

8）Web页面查看日志

http://kk01:8088/cluster

http://kk01:18080/

​

书香恋仁心
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据 - Spark介绍和环境搭建
林元煌
03-11 2633
Spark简单介绍、本地运行模式 （单机）和spark standalone集群搭建
保姆级丨Spark环境搭建
尼泊罗河伯的博客
07-31 2277
Apache Spark 是一种用于大数据工作负载的分布式开源处理系统。它使用内存中缓存和优化的查询执行方式，可针对任何规模的数据进行快速分析查询。
详解 Spark 各种运行环境的搭建
最新发布
weixin_44480009的博客
05-29 1021
Mesos 是 Apache 下的开源分布式资源管理框架Kubernetes（k8s）是目前最为流行的容器管理工具Windows 模式：将解压缩到无中文无空格的路径中执行解压缩文件路径下bin目录中的文件，启动 Spark 本地环境编写 Scala 程序执行或在 DOS 命令行窗口中执行提交指令。
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
热门推荐
WangaWen1229的博客
04-13 1万+
Using Spark’s default log4j profile: org/apache/spark/log4j-defaults.properties 20/04/13 16:17:18 INFO SparkContext: Running Spark version 2.1.1 20/04/13 16:17:18 WARN NativeCodeLoader: Unable to load...
Spark-环境部署
dafsq的博客
03-06 487
Spark-环境部署
spark的安装与部署
weixin_65195823的博客
06-28 1万+
为了避免MapReduce框架中多次读写磁盘带来的消耗，以及更充分地利用内存，加州大学伯克利分校的AMP Lab提出了一种新的、开源的、类Hadoop MapReduce的内存编程模型Spark。一、spark是什么？Spark是一个基于内存的大数据并行处理框架，其最初由加州大学伯克利分校的AMP Lab研发，现已成为Apache软件基金会的顶级项目之一。Spark不仅提供了可扩展、高容错、高性能的分布式数据处理，还提供了内存级的数据处理。
spark环境搭建
01-22
Spark 环境搭建 Spark 环境搭建是指在本地机器上安装和配置 Spark 相关组件，以便进行 Spark 的学习和开发。本文将指导读者从头开始搭建 Spark 环境，包括 JDK 安装、Spark 下载、Scala 安装、Hadoop 安装和 Spark ...
hadoop与spark环境搭建.pdf
07-27
linux端的hadoop和spark环境搭建： Linux环境设置 1设置固定IP（静态） 2新增oracle用户 3设置oracle用户拥有root用户的命令 4设置网络映射 5关闭防火墙 vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0...
Spark环境搭建-Linux.pptx
03-27
Spark 环境搭建 - Linux 本资源summary是关于在 Linux 上搭建 Spark 环境的详细教程。该教程从准备环境开始，到安装 JDK、Scala 和 Spark，最后设置 SSH 免密码登录，旨在帮助用户快速搭建 Spark 环境。 一、环境...
Spark 集群搭建（完整）
weixin_45131680的博客
09-12 3033
如果要在 Yarn 中运行 Spark 程序, 首先会和 RM 交互, 开启 ApplicationMaster, 其中运行了 Driver, Driver创建基础环境后, 会由 RM 提供对应的容器, 运行 Executor, Executor会反向向 Driver 反向注册自己, 并申请 Tasks 执行。对于 Spark Standalone 集群来说, 当 Worker 调度出现问题的时候, 会自动的弹性容错, 将出错的 Task 调度到其它 Worker 执行。
spark的环境配置
lookqinghuaci的博客
06-17 2884
进入spark配置目录后，执行命令：cp spark-env.sh.template spark-env.sh与vim spark-env.sh export JAVA_HOME=/usr/local/jdk1.8.0_162 export SPARK_MASTER_HOST=master export SPARK_MASTER_PORT=7077 JAVA_HOME：指定JAVA_HOME的路径。若集群中每个节点在/etc/profile文件中都配置了JAVA_HOME，则该选项可以省略，Spark集群启
Spark本地环境搭建（local模式）
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 4597
大数据实验教学系统Spark本地环境搭建（local模式）spark有以下几种运行模式，每种运行模式都有自己不同的优点和长处。了解Spark不同安装包之间的区别   安装和配置Spark环境（本地模式）   测试Spark安装是否成功。1、安装和配置Spark环境（本地模式）   2、测试Spark。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2.3.2，Hadoop-2.7.3   在本实验环境中，Spark安装包位于以下位置：/data/software/sp
Spark环境搭建和使用方法
Morse_Chen的博客
12-14 3210
本文讲解如何在Linux系统中安装Spark并配置Spark环境，以及Spark的基本使用方法。
spark 搭建 及测试
m0_74277460的博客
03-13 969
（1）复制spark-defaults.conf.template,命名为spark-defaults.conf。复制spark-env.sh.template，命名为spark-env.sh。关闭spark集群?cd/usr/local/spark3/sbin/切换到spark的安装目录的sbin目录下，去启动。2.安装解压，到/usr/local/wanquan/目录下。6.分发spark的安装目录到hadoop2、hadoop3。2.安装解压，到/usr/local/single/目录下。
SPARK系统搭建
gedasong_aac的博客
03-17 425
一、Ubantu Linux系统安装 1.详细安装教程地址：https://blog.csdn.net/u013142781/article/details/50529030； 2.注意点： （1）虚拟机路径修改： （2）虚拟机网络配置： https://www.cnblogs.com/biaohc/p/6416213.html (3)从本地电脑传输文件至虚拟机： a.下...
大数据环境搭建之Spark集群搭建
SuperMap技术控
06-14 4089
作者：Neshoir     Spark是大规模数据集处理的统一分析引擎，其具备批处理、实时数据分析、图计算、机器学习等能力。Spark的特点就是计算快，其计算尽可能的都会在内存里执行，执行任务基于DAG，提供丰富的编程模型接口，如scala，java，python，Spark应用支持运行于各个主流的资源调度平台之上，如Hadoop YARN、Messos、Kubernetes等，当然Spa...
spark在idea中编写第一个程序时常见异常
qq_41919284的博客
09-12 4406
Using Spark’s default log4j profile: org/apache/spark/log4j-defaults.properties 18/09/12 10:18:05 INFO SparkContext: Running Spark version 1.6.3 18/09/12 10:18:07 ERROR SparkContext: Error initializ...
Spark环境搭建与使用
04-05
Spark环境搭建与使用 Apache Spark是一个开源的大数据处理框架，可以快速、高效地处理大规模的数据集。它支持多种数据处理方式，包括批处理、流处理和机器学习等。 Spark可以在本地模式下运行，也可以在分布式模式下运行。在分布式模式下，Spark可以利用多台服务器的计算资源，进行大规模的数据处理。 本文将介绍如何在本地环境中搭建Spark，并通过一个简单的例子来演示Spark的使用。 Spark环境搭建 在开始之前，需要确认已经安装了Java环境。可以通过以下命令检查Java环境是否已经安装： ``` java -version ``` 如果Java环境没有安装，可以去官网下载并安装Java。 接下来，需要下载Spark。可以从官网下载最新版本的Spark。下载完成后，解压缩到指定目录。 打开终端，进入Spark的bin目录，执行以下命令启动Spark： ``` ./spark-shell ``` 这个命令将启动Spark的交互式Shell。在Shell中，可以输入Spark的API命令进行数据处理。 Spark使用示例 下面，通过一个简单的例子来演示Spark的使用。该例子将统计一组数字中的奇数个数。 首先，在Spark的Shell中，创建一个RDD： ``` val nums = sc.parallelize(1 to 10) ``` 这个命令将创建一个包含1到10的数字的RDD。接下来，通过filter()方法，筛选出奇数： ``` val odds = nums.filter(_ % 2 != 0) ``` 这个命令将创建一个包含奇数的RDD。最后，通过count()方法，计算奇数的个数： ``` val count = odds.count() ``` 这个命令将返回奇数的个数。可以通过以下命令输出结果： ``` println(count) ``` 这个例子演示了Spark的基本用法。通过Spark的API，可以快速、高效地处理大规模的数据集。 总结 本文介绍了如何在本地环境中搭建Spark，并通过一个简单的例子来演示Spark的使用。Spark是一个强大的大数据处理框架，可以帮助我们快速、高效地处理大规模的数据集。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值