Spark搭建

最新推荐文章于 2024-05-10 08:41:16 发布
最新推荐文章于 2024-05-10 08:41:16 发布
阅读量912 收藏 18
点赞数 25
文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cc__cc___/article/details/135261611
版权

Spark搭建（三种模式）

Local模式

主要用于本地开发测试

本文档主要介绍如何在IDEA中配置Spark开发环境

  • 打开IDEA，创建Maven项目

  • 在IDEA设置中安装Scala插件

    image.png

  • 在pom.xml文件中添加Scala依赖

            <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.12.10</version>
        </dependency>

        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-compiler</artifactId>
            <version>2.12.10</version>
        </dependency>

        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-reflect</artifactId>
            <version>2.12.10</version>
        </dependency>

  • 在pom.xml中添加Scala编译插件

    需要加在build->plugins标签下

                <!-- Scala Compiler -->
            <plugin>
                <groupId>org.scala-tools</groupId>
                <artifactId>maven-scala-plugin</artifactId>
                <version>2.15.2</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>

  • 在pom.xml文件中添加Spark-Core依赖

            <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.1.3</version>
        </dependency>

  • 编写第一个Spark程序

    • 准备words.txt数据，每一行包含多个单词，单词之间以逗号分隔

      java,spark,java,hadoop
java,spark,java,hadoop
java,spark,java,hadoop
java,spark,java,hadoop
java,spark,java,hadoop
java,spark,java,hadoop
java,spark,java,hadoop
java,spark,java,hadoop
java,spark,java,hadoop
java,spark,java,hadoop

    • 编写代码

      注意words.txt文件路径，按自身情况修改

      package com.shujia.core

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Demo01WordCount {
  def main(args: Array[String]): Unit = {
    // 1、构建Spark环境
    // 配置Spark任务
    val conf: SparkConf = new SparkConf()
    conf.setAppName("Demo01WordCount") // 设置任务名
    conf.setMaster("local") // 设置Spark的运行方式
    // 创建SparkContext --> Spark程序的入口
    val sc: SparkContext = new SparkContext(conf)

    // 2、构建Spark程序
    // 加载数据
    val lineRDD: RDD[String] = sc.textFile("spark/data/words.txt")
    // 将每个单词提取出来
    val wordsRDD: RDD[String] = lineRDD.flatMap(_.split(","))
    // 按每个单词进行分组
    val groupRDD: RDD[(String, Iterable[String])] = wordsRDD.groupBy(word => word)
    // 统计每个单词的数量
    val wordCntRDD: RDD[String] = groupRDD.map(kv => s"${kv._1},${kv._2.size}")
    // 将结果输出
    wordCntRDD.foreach(println)
  }
}

    • 右键运行，结果如下

      image.png

  • 常见错误

    • windows环境下运行任务通常会有如下报错

      23/10/07 11:23:40 WARN Shell: Did not find winutils.exe: {}
java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.

  • 原因分析

    • Spark程序运行时找不到winutils.exe程序或依赖

  • 解决方法

    • 下载winutils.exe程序

    • 在任意无中文路径位置新建bin目录，例如

      目录路径位置随意，但一定不要有中文目录

      D:/shujia/bigdata/hadoop3/bin

    • 将winutils.exe程序放入上述bin目录中

    • 在系统环境变量中增加一项HADOOP_HOME配置

    • 将D:/shujia/bigdata/hadoop3/目录作为HADOOP_HOME的值

      注意不要将bin目录包含在其中

    • 重启IDEA

      • 重新运行程序，检查错误是否消失
Standalone模式

  • 1、上传解压

    tar -zxvf spark-3.1.3-bin-without-hadoop.tgz -C /usr/local/soft
mv spark-3.1.3-bin-without-hadoop spark-3.1.3

  • 2、修改配置文件

    # 重命名文件
cp spark-env.sh.template spark-env.sh
cp workers.template workers

    增加配置：vim spark-env.sh

    master相当于RM worker相当于NM

    export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=2g
export JAVA_HOME=/usr/local/soft/jdk1.8.0_171
export SPARK_DIST_CLASSPATH=$(/usr/local/soft/hadoop-3.1.3/bin/hadoop classpath)

    增加从节点配置：vim workers

    以node1、node2作为从节点

    node1
node2

  • 3、复制到其它节点

    cd /usr/local/soft/
scp -r spark-3.1.3 node1:`pwd`
scp -r spark-3.1.3 node2:`pwd`

  • 4、配置环境变量

  • 5、在主节点执行启动命令

    注意：start-all.sh 与Hadoop的sbin目录中的启动命令有冲突

    cd /usr/local/soft/spark-3.1.3/
./sbin/start-all.sh

  • 6、访问Spark Web UI

    http://master:8080/

  • 7、测试及使用

    切换目录：cd /usr/local/soft/spark-3.1.3/examples/jars

    standalone client模式 ：日志在本地输出，一般用于上线前测试

    • 提交自带的SparkPi任务

      spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --executor-memory 512m --total-executor-cores 1 spark-examples_2.12-3.1.3.jar 100

    standalone cluster模式：上线使用，不会在本地打印日志

    • 提交自带的SparkPi任务

      spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --executor-memory 512M --total-executor-cores 1 --deploy-mode cluster spark-examples_2.12-3.1.3.jar 100

  • 8、其他运行方式

    • spark-shell spark 提供的一个交互式的命令行，可以直接写代码

      spark-shell --master spark://master:7077
On Yarn模式

在公司一般不适用standalone模式

因为公司一般已经有yarn 不需要搞两个资源管理框架

Spark整合yarn只需要在一个节点整合, 可以删除node1 和node2中所有的Spark 文件

  • 1、停止Spark Standalone模式集群

    # 切换目录
cd /usr/local/soft/spark-3.1.3/
# 停止集群
./sbin/stop-all.sh

  • 2、增加hadoop 配置文件地址

    vim spark-env.sh
# 增加HADOOP_CONF_DIR
export HADOOP_CONF_DIR=/usr/local/soft/hadoop-3.1.3/etc/hadoop

  • 3、关闭Yarn

    stop-yarn.sh

  • 4、修改Yarn配置

    cd /usr/local/soft/hadoop-3.1.3/etc/hadoop/
vim yarn-site.xml

# 加入如下配置
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>

    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>

  • 5、同步到其他节点

    scp -r yarn-site.xml node1:`pwd`
scp -r yarn-site.xml node2:`pwd`

  • 6、启动Yarn

    start-yarn.sh

  • 7、测试及使用

    切换目录：cd /usr/local/soft/spark-3.1.3/examples/jars

    Spark on Yarn Client模式：日志在本地输出，一班用于上线前测试

    • 提交自带的SparkPi任务

      spark-submit --master yarn --deploy-mode client --class org.apache.spark.examples.SparkPi  --executor-memory 512M --num-executors 2 spark-examples_2.12-3.1.3.jar 100

    Spark on Yarn Cluster模式：上线使用，不会在本地打印日志

    • 提交自带的SparkPi任务

      spark-submit --master yarn --deploy-mode cluster --class org.apache.spark.examples.SparkPi  --executor-memory 512M --num-executors 2 spark-examples_2.12-3.1.3.jar 100

    • 获取yarn程序执行日志 执行成功之后才能获取到

      yarn logs -applicationId application_1652086375126_0002

  • 8、开启Spark On Yarn的WEB UI

    修改配置文件：

    # 切换目录
cd /usr/local/soft/spark-3.1.3/conf

# 去除后缀
cp spark-defaults.conf.template spark-defaults.conf

# 修改spark-defaults.conf
vim spark-defaults.conf

# 加入以下配置
spark.eventLog.enabled  true
spark.eventLog.dir      hdfs://master:9000/user/spark/applicationHistory
spark.yarn.historyServer.address        master:18080
spark.eventLog.compress true
spark.history.fs.logDirectory   hdfs://master:9000/user/spark/applicationHistory
spark.history.retainedApplications      15

    创建HDFS目录用于存储Spark History日志

    hdfs dfs -mkdir -p /user/spark/applicationHistory

    启动Spark History Server

    cd /usr/local/soft/spark-3.1.3/
./sbin/start-history-server.sh
只会hello world的程序员
关注
Hadoop系列 (六)：Spark搭建
Eric Ray的博客
10-14 1147
基于hadoop的spark搭建
Spark搭建/Hadoop集群
weixin_55946594的博客
10-30 2704
Spaek基础搭建；基于Hadoop集群.
Spark Build
jvisualvm
11-11 284
原创转载请注明出处：http://agilestyle.iteye.com/blog/2337293   Prerequisite 硬件环境：Ubuntu16.04（8G内存）   软件环境：jdk1.7.0_80+scala-2.11.8+apache-maven-3.3.9   配置Linux下的环境变量（hadoop、hbase、hive以及zookeeper可以忽略） ...
spark（一） build
weixin_34007291的博客
11-17 101
（1）编译前的准备工作，安装jdk，解压maven，解压spark，解压scala并配置相关的环境变量 export JAVA_HOME=/opt/module/jdk1.6.0_45 export PATH=$PATH:$JAVA_HOME/bin export MAVEN_HOME=/opt/module/apache-maven-3.0.5 export PATH=$PATH:$MAVEN_...
spark shell ,在Windows上build Spark
u012302488的博客
04-09 1924
在本机（Windows 8）上安装spark玩一玩，Spark的Quick Start上没有指明具体步骤，自己Build好了之后把步骤记录一下。 首先，到Spark的官网上下载Spark的压缩包，然后解压缩到本地文件夹。我下的是Spark 1.1.0，目前最新的release，链接spark-1.1.0.tgz。 按照文档上运行bin/spark-shell，会提示找不到所
Spark源码阅读环境搭建build
weixin_45162906的博客
01-15 498
build spark源码 spark源码阅读
Compile Spark and Build Spark Package
Selmalq的博客
11-22 477
Spark
Spark 搭建
07-02
Spark是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速。Spark非常小巧玲珑， 由加州伯克利大学AMP实验室的Matei为主的小团队所开发。使用的语言是Scala，项目的core部分的代码 只有63个Scala文件...
大数据spark搭建，spark安装包
03-25
Spark是Apache软件基金会下的一个开源项目，专门设计用于处理大规模数据计算。它的核心特性在于提供了快速、通用以及可扩展的数据处理框架，适用于批处理、交互式查询、流处理和机器学习等多种任务。Spark的主要优势...
Spark搭建和使用
hjs19981227的博客
08-03 522
Spark搭建和使用 Spark-day01 1.Spark初始 1.什么是Spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等
spark项目打包build—— scala项目打包
小白
09-11 760
<build> <sourceDirectory>src/main/scala</sourceDirectory> <plugins> <plugin> <groupId>org.scala-tools</groupId> <artifactId>maven-scala-plugin</artifactId> <vers
Spark编译
BENULL的博客
04-18 1514
前提 在这里我们编译的是Spark2.2.0,Hadoop版本为hadoop-2.6.0-cdh5.7.0，Scala版本为2.11.8 更多关于编译Spark2.2.0参见Spark编译官方文档 环境要求 The Maven-based build is the build of reference for Apache Spark. Building Spark using Ma...
Spark 2.0.0正式版编译及问题分析
大数据挖掘SparkExpert的博客
08-31 1467
从上次编译了技术预览版2.0.1之后，官网终于放出了正式版本的2.0.0版本。 Spark Release 2.0.0（见http://spark.apache.org/releases/spark-release-2-0-0.html） Apache Spark 2.0.0 is the first release on the 2.x line. The major
Spark安装及部署
seo232323的博客
10-11 726
​ 说明2：Hive任务最终由Spark来执行，Spark任务资源分配由Yarn来调度，该任务有可能被分配到集群的任何一个节点。hadoop102的**/opt/module/hadoop/etc/hadoop/capacity-scheduler.xml**​ 说明1：采用Spark纯净版jar包，不包含hadoop和hive相关依赖，能避免依赖冲突。修改 hive-env.sh，将 Hive 堆内存改为 2048M，如下。添加如下内容（在执行任务时，会根据如下参数执行）。
spark3.1.1安装（spark on yarn）
m0_37813354的博客
06-18 5023
环境scala2.12.12 hadoop3.2.2 centos7
大数据随记 —— Spark 基本安装及相关配置
繁依Fanyi的博客
08-18 2581
输入 http://master:8080/，或者 主节点ip:8080 进入Master 资源监控 Web UI 界面。② 修改 spark-env.sh 文件，添加 JAVA_HOME 环境变量和集群对应的 master 节点。一般选择好 Spark 版本后就会出现配置方法。进入 Spark 的 conf 目录。② 在 workers 中添加以下节点。① 拷贝 spark-env.sh。⑤ 配置 Spark 环境变量。③ 移动相关文件到指定目录。① 拷贝 workers。① 进入安装包所在目录。...
spark-env.sh配置
窦永厚
03-11 3565
vim /conf/spark-env.sh #!/usr/bin/env bash export JAVA_HOME=/opt/module/jdk1.8.0_221 export SCALA_HOME=/opt/module/scala-2.13.5 export HADOOP_HOME=/opt/module/hadoop-3.1.4 export HADOOP_CONF_DIR=/opt/module/hadoop-3.1.4/etc/hadoop export SPARK_MASTER_IP=n
spark编译打包步骤
最新发布
qq_21591673的博客
05-10 259
2.定义jar包名称，双击右侧栏以“output”为后缀的文件到左侧，表示已添加工程至jar包中。6.将windows本地文件路径中保存的jar包拖入到xshell指定路径下。3.选择菜单栏中的“Build”->“Build Artifacts”选项。4.在弹窗中选择“yjw”->“Build”选项。7.输入命令提交Spark程序到集群。5.完成后将出现/out目录。
编译Spark3.1.0并集成hive3.1.2和hadoop3.3.0
hxtog的博客
02-09 4237
文章目录编译Spark2.4.7并集成hive3.1.2和hadoop3.3.0先上本机运行情况准备工作编译Spark配置Spark配置spark-env.sh配置spark-default.conf启动Spark集成Hive3.1.2修改hive-site.xml复制jar包到hive目录lib文件夹删除spark下orc-core-1.5.5-nohive.jar文件启动Hive on Spark总结 编译Spark2.4.7并集成hive3.1.2和hadoop3.3.0 搭建过程参考网上各种教程,
hadoop spark搭建环境
04-11
要搭建Hadoop和Spark的环境，可以按照以下步骤进行： 1. 安装Java：首先需要安装Java开发工具包（JDK），因为Hadoop和Spark都是基于Java开发的。你可以从Oracle官网下载适合你操作系统的JDK版本，并按照官方文档...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值