spark-1（安装配置）

最新推荐文章于 2024-05-07 16:08:49 发布
最新推荐文章于 2024-05-07 16:08:49 发布
阅读量147 收藏
点赞数 1
分类专栏： spark 文章标签： 大数据 spark 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lxk199266/article/details/116458179
版权

spark-1

1、核心模块简介及安装配置

核心模块

Spark和Hadoop的根本差异是多个作业之间的数据通信问题：Spark多个作业之间数据通信是基于内存，而Hadoop是基于磁盘。

在绝大多数的数据计算场景中，Spark确实会比MapReduce更有优势，但是Spark是基于内存的，所以在实际的生产环境中，由于内存的限制，可能会由于内存资源不够导致Job执行失败，此时，MapReduce其实是一个更好的选择，所以Spark并不能完全替代MR。

Spark Core：提供了Spark最基础与最核心的功能，其余模块都是在Spark Core基础上进行拓展的

Spark SQL：操作结构化数据的功能模块

Spark Streaming：处理流式数据的功能模块

Spark MLlib：处理机器学习相关库的功能模块

Spark GraphX：图形挖掘计算相关功能模块

安装配置

IDEA首先配置scala环境

导入核心依赖

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.11</artifactId>
    <version>2.3.0</version>
</dependency>

spark版本根据scala sdk版本确定

wordcount案例实现

package spark.core

import org.apache.spark.{SparkConf, SparkContext}

object WordCount2 {
  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setMaster("local").setAppName("WordCount")
    val sc = new SparkContext(sparkConf)
    val lines = sc.textFile("datas")
    val words = lines.flatMap(_.split(" "))
    val words1 = words.map(word => (word, 1))
    val wordGroup = words1.groupBy(t => t._1)
    val wordToCount = wordGroup.map {
      case (word, list) => {
        list.reduce((t1, t2) => (t1._1, t1._2 + t2._2))
      }
    }
    val array = wordToCount.collect()
    array.foreach(println)
    sc.stop()
  }
}

2-运行环境

Local模式

不需要其他任何节点资源就可以在本地执行Spark代码的环境，一般用于教学，调试，演示等。

spark安装后，不需要配置，直接执行命令${SPARK_HOME}/bin/spark-shell就可以进入命令行模式

此时可以输入单行命令执行wordcount案例

sc.textFile("data/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

提交运行案例程序的任务

bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[2] ./examples/jars/spark-examples_2.11-2.4.7.jar 10

并且可以通过端口4040访问网页UI

Standalone模式

顾名思义，独立部署模式，单节点启动。Spark的Standalone模式体现了经典的master-slave模式

配置slaves

num04
num05
num06

配置spark-env.sh

export JAVA_HOME=/opt/jdk1.8
SPARK_MASTER_HOST=num04
SPARK_MASTER_PORT=7077

以上两个配置文件都是template样例文件，修改完成后修改文件名

分发至其余两个节点

可以启动集群了spark_standalone/sbin/start-all.sh

启动成功后，主结点有Master进程，配置有worker的节点有Worker进程

可以使用8080端口访问网页UI

再提交案例任务

bin/spark-submit 
--class org.apache.spark.examples.SparkPi 
--master spark://num04:7077 ./examples/jars/spark-examples_2.11-2.4.7.jar 10

提交参数格式：

${SPARK_HOME}/bin/spark-submit \
--class <main-class>
--master <master-url> \
... # other options
<application-jar>
[application-arguments]

参数说明：

  • –class指定包含主函数的类
  • –master指定的是运行环境
  • –executor-memory 1G：指定每个executor可用内存为1G
  • –total-executor-cores 2：指定所有executor使用的cpu核数为2个
  • application-jar：打包好的应用Jar，包含依赖
  • application-arguments：传给main()方法的参数

配置历史服务

配置spark-defaults.conf（改名）

# 这两行去掉注释，下面的是历史文件保存地址，文件要求已存在
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://num04:9000/spark_log

配置spark-env.sh

# 第一项是端口号
# 第二项指定历史文件保存地址，和上面的配置文件要求相同
# 第三项是历史记录个数，超出这个个数，旧的应用程序信息就会被删除
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://num04:9000/spark_log
-Dspark.history.retainedApplications=30"

高可用

集群规划

num04:Master、Worker

num05:Master、Worker

num06:Worker

配置spark-env.sh

# 将原本配置的这两行注释掉
# SPARK_MASTER_HOST=num04
# SPARK_MASTER_PORT=7077

# 修改为如下配置
SPARK_MASTER_WEBUI_PORT=8989
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=num04,num05,num06
-Dspark.deploy.zookeeper.dir=/spark"

分发配置文件

主结点启动集群

第二节点启动Master服务

此时如果可以通过两台节点的IP通过指定的端口号访问webui说明配置成功（主结点status为active，备用节点状态为standby）

再次提交案例任务测试环境

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://num04:7077,num05:7077 \
./examples/jars/spark-examples_2.11-2.4.7.jar 10

Yarn模式

独立部署（Standalone）模式由Spark自身提供计算资源，无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但是同时，Spark主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，所以还是和其他专业的资源调度框架集成会更可靠。所以接下来配置Yarn环境下的Spark。

重新解压缩

修改配置文件

  1. 修改hadoop配置文件中的yarn-site.xml
<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则会直接将其杀掉，默认是true-->
<property>
	<name>yarn.nodemanager.pmem-check-enabled</name>
	<value>false</value>
</property>
<!--是否启动一个线程检查每个任务正使用的虚拟内存量。如果任务超出分配值。则直接将其杀掉，默认是true-->
<property>
	<name>yarn.nodemanager.vmem-check-enabled</name>
	<value>false</value>
</property>
  1. 配置spark-env.sh
export JAVA_HOME=/opt/jdk1.8
YARN_CONF_DIR=/opt/hadoop/etc/hadoop
  1. 启动集群
  2. 再次提交案例任务，测试环境
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.11-2.4.7.jar 10
  1. 此时控制台不能再看到执行结果了，7077端口也无法打开webui，可以打开8088端口，访问yarn页面，看到spark的任务执行记录
  2. 此时再配置历史服务，需要在spark-default.conf中多配置一项，关联yarn和spark
spark.yarn.historyServer.address=num04:18080
spark.history.ui.port=18080
  1. 开启历史服务后再次提交任务
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.11-2.4.7.jar 10

Windows模式

为了便于调试和学习，安装Windows模式

运行案例任务，测试环境

D:\sofeware\developtool\spark\bin>spark-submit --class org.apache.spark.examples.SparkPi --master local[2] ../examples/jars/spark-examples_2.11-2.4.7.jar 10

部署模式对比

​ 模式spark安装机器数需启动的进程所属者应用场景
​ Local1无Spark测试
Standalone3Master及WorkerSpark单独部署
​ Yarn1Yarn和HDFSHadoop混合部署

端口号

  • Spark查看当前Spark-shell运行任务情况：4040
  • Spark Master内部同通信服务端口：7077
  • Standalone模式下，Spark Master Web端口：8080
  • Spark历史服务：18080
  • Hadoop Yarn任务运行情况查看端口：8088

IDEA设置控制台不打印INFO信息

1、首先将spark根目录下中的conf目录里的log4j.properties.template文件拷贝到IDEA项目中的src\main\resources目录下并改名为log4j.properties

2、然后在将文件中的log4j.rootCategory=INFO, console修改为log4j.rootCategory=ERROR, console即可

getBinary
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
spark安装教程
weixin_56221448的博客
03-31 1万+
spark安装
Spark简介以及最详细安装教程
热门推荐
zp17834994071的博客
07-29 2万+
首先来聊聊什么是Spark?为什么现在那么多人都用Spark? Spark简介： Spark是一种通用的大数据计算框架,是基于**RDD（弹性分布式数据集）**的一种计算模型。那到底是什么呢？可能很多人还不是太理解，通俗讲就是可以分布式处理大量集数据的，将大量集数据先拆分，分别进行计算，然后再将计算后的结果进行合并。 为什么使用Spark ...
spark教程
yuhouwucaihong的博客
02-24 739
spark教程汇总
spark的安装与部署
weixin_65195823的博客
06-28 1万+
为了避免MapReduce框架中多次读写磁盘带来的消耗，以及更充分地利用内存，加州大学伯克利分校的AMP Lab提出了一种新的、开源的、类Hadoop MapReduce的内存编程模型Spark。一、spark是什么？Spark是一个基于内存的大数据并行处理框架，其最初由加州大学伯克利分校的AMP Lab研发，现已成为Apache软件基金会的顶级项目之一。Spark不仅提供了可扩展、高容错、高性能的分布式数据处理，还提供了内存级的数据处理。
Spark安装教程
最新发布
m0_74972727的博客
05-07 675
【代码】Spark安装教程。
spark 安装详细步骤
qq_58476985的博客
10-11 2746
3、在目录/home/hadoop/software下解压：tar -zxvf spark-1.6.2-bin-hadoop2.6.tgz。4、进入conf目录,复制文件cp spark-env.sh.template spark-env.sh。6、cd 切换到sbin目录下使用 ./start-all.sh 命令。5、vim spark-env.sh 进入文件编辑 点击 i；7、cd 到bin目录 使用./saprk-shell。jps后看到worker和Master节点。
Spark-1.0.2安装配置
09-04
Spark-1.0.2安装配置，简单的demo运行，包含vbox、jdk、Scala、SSH的安装配置
spark-3.0.0-bin-hadoop3.2
02-17
1. **Databricks Runtime (DBR) 合并**：Spark 3.0.0与Databricks Runtime进行了部分融合，引入了更多针对大规模数据处理和机器学习的优化。 2. **SQL增强**：Spark SQL得到了重大改进，包括对Hive Metastore的更好...
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
08-28
接着，配置环境变量以指向Spark的安装目录，这通常涉及修改`PATH`和`SPARK_HOME`变量。为了与Hadoop集群对接，还需要配置Spark的`spark-env.sh`文件，设置Hadoop的相关路径。 5. **运行Spark**: Spark可以通过...
spark-2.2.2安装流程
05-06
ClusterManager：在Standalone模式中即为Master（主节点），控制整个集群，监控Worker。在YARN模式中为资源管理器。 Worker：从节点，负责控制计算节点，启动Executor。... SparkConf：负责存储配置信息。
spark-3.2.1 安装包 下载 hadoop3.2
04-03
在安装Spark 3.2.1时，`spark-3.2.1-bin-hadoop3.2-scala2.13.tgz`这个压缩包包含所有必要的组件和依赖项。Scala 2.13是Spark的开发语言，因此需要匹配版本的JDK环境。解压后，你可以配置环境变量，如SPARK_HOME，...
Spark 下载、安装与配置
梁辰兴的博客
03-29 1万+
Apache Spark 是一个快速的通用集群计算系统。它提供了Java， Scala， Python ，R 四种编程语言的 API 编程接口和基于 DAG 图执行的优化引擎。它还支持一系列丰富的高级工具：处理结构化数据的 Spark SQL，用于机器学习的 MLlib，控制图、并行图操作和计算的一组算法和工具的集合 GraphX，数据流处理 Spark Streaming。
【Spark】Windows下安装Spark（亲测成功安装）
tttzzzqqq2018的博客
08-02 1万+
安装Spark之前，需要安装JDK、Hadoop、Scala。显示上面的正常运行界面，表示本地的spark环境已搭建完成！环境变量Path添加条目%SCALA_HOME%\bin。为了验证Scala是否安装成功，开启一个新的cmd窗口。环境变量Path添加条目%SPARK_HOME%\bin。为了验证Spark是否安装成功，开启一个新的cmd窗口。设置环境变量 %SCALA_HOME%设置环境变量 %SPARK_HOME%本地点击msi文件安装，安装目录为。可以看到Scala安装成功。安装方法就不赘述了。
Spark安装与基本操作
m0_65435794的博客
06-13 1005
spark的安装以及实例
大数据与云计算——Spark的安装和配置
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
09-24 2585
Apache Spark是一个基于内存的分布式计算框架，它提供了高效、强大的数据处理和分析能力。与传统的Hadoop MapReduce相比，Spark的主要优势在于其能够将数据集缓存在内存中，从而大大减少了磁盘I/O操作，提高了数据处理速度。
Spark-3.2.4 高可用集群安装部署详细图文教程
Stars.Sky 的博客
09-15 4846
Spark-3.2.4 高可用集群安装部署详细图文教程
spark-yarn安装配置
03-29
Apache Spark是一个分布式计算框架，可以运行在Hadoop集群上。而YARN是Hadoop的资源管理器，可以提供资源给Spark来运行。 以下是spark-yarn安装配置的步骤： 1. 安装Hadoop集群 在安装Spark之前，您需要先安装Hadoop集群。请确保您的Hadoop集群正在运行，并且您可以使用hadoop命令行工具访问它。 2. 下载Spark 从Spark官方网站下载Spark二进制文件，并解压缩到您的目录中。您可以将Spark安装在任何地方，只要您的Hadoop集群可以访问它即可。 3. 配置Spark 在Spark的conf目录下，有一个spark-env.sh文件，您需要编辑它来配置Spark的环境变量。将以下内容添加到文件末尾： export HADOOP_CONF_DIR=/path/to/hadoop/conf 这将告诉Spark去哪里找到Hadoop的配置文件。 4. 配置YARN 在Spark的conf目录下，有一个spark-defaults.conf文件，您需要编辑它来配置Spark使用YARN。将以下内容添加到文件末尾： spark.master yarn spark.submit.deployMode client spark.executor.memory 2g spark.driver.memory 2g 这将告诉Spark使用YARN作为资源管理器，并设置内存大小。 5. 运行Spark应用程序 现在，您可以运行Spark应用程序了。使用以下命令： ./bin/spark-submit --class <main-class> --master yarn --deploy-mode client <application-jar> <application-arguments> 其中，<main-class>是您的主类，<application-jar>是您的应用程序jar文件，<application-arguments>是您的应用程序参数。 6. 监控应用程序 您可以在YARN的Web界面上监控您的应用程序。打开以下网址： http://<yarn-resource-manager>:8088/cluster 其中，<yarn-resource-manager>是您的YARN资源管理器的主机名。在Web界面上，您可以看到正在运行的应用程序的状态和日志。 这就是spark-yarn安装配置的步骤。祝您好运！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值