Spark的安装以及配置

最新推荐文章于 2023-06-08 22:02:18 发布
最新推荐文章于 2023-06-08 22:02:18 发布
阅读量331 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/independenceY/article/details/90582474
版权
本文详细介绍了如何安装配置Spark和Scala，包括从官网下载、解压、启动，以及在Hadoop环境下启动Spark。接着通过一个WordCount的实例，展示了如何使用Spark-shell进行交互式编程，计算单词出现次数，并将结果保存到本地。最后，给出了运行结果和退出操作的步骤。
摘要由CSDN通过智能技术生成

Spark的安装以及配置

1、官网下载安装Scala：scala-2.12.8.tgz
https://www.scala-lang.org/download/
tar -zxvf scala-2.12.8.tgz -C /opt/module
mv scala-2.12.8 scala
测试：scala -version
启动：scala

2、官网下载安装Spark：spark-2.4.2-bin-hadoop2.7.tgz
https://www.apache.org/dyn/closer.lua/spark/spark-2.4.2/spark-2.4.2-bin-hadoop2.7.tgz
解压、重命名
启动spark
①先启动hadoop 环境
start-all.sh
②启动spark环境
进入到SPARK_HOME/sbin下运行start-all.sh
/opt/module/spark/sbin/start-all.sh
[注] 如果使用start-all.sh时候会重复启动hadoop配置，需要./在当前工作目录下执行命令
jps 观察进程 多出 worker 和 mater 两个进程。
查看spark的web控制页面：http://bigdata1

最低0.47元/天 解锁文章
independenceY
关注
Spark-3.2.4 高可用集群安装部署详细图文教程
Stars.Sky 的博客
09-15 5386
Spark-3.2.4 高可用集群安装部署详细图文教程
Spark介绍以及安装和部署
qq_40618664的博客
03-21 904
一、spark（计算引擎）介绍 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写...
win10下安装Spark3.0和Hadoop3.1.3
努力奔赴未来
05-24 2956
1、spark win10安装 （1）解压文件到无空格的安装目录，安装到的目录为D:\Enviroment\Spark\spark-3.0.0-bin-hadoop3.2 （2）添加环境变量 SPARK_HOME ：D:\Enviroment\Spark\spark-3.0.0-bin-hadoop3.2 %SPARK_HOME%\bin %SPARK_HOME%\sbin （3）测试 cmd下输入spark-shell 2、Hadoop win10下安装 本安装用的是Linux下的hado
大数据集群搭建（十一）——Spark-2.3.4安装
no_hot的博客
07-11 530
Spark-2.3.4安装 节点 Master Worker Worker dn1 ★ dn2 ★ dn3 ★ 下载spark-2.3.4-bin-hadoop2.7.tgz压缩包 将文件上传到dn1节点的~/pkg目录下 执行以下命令，分别在dn1、dn2、dn3三台节点安装 #解压到/opt目录 cd ~/pkg tar -xzvf spark-2.3.4-bin-hadoop2.7.tgz -C /opt #创建spark的软连接 cd /opt ln -
spark安装部署
3322855165
06-08 910
sudo apt-get install openjdk-8-jre-headless -y (红帽系列Linux包名可能为java-1.8.0-openjdk-headless)Master节点有Master和Worker两个进程，Worker节点只有Worker进程。启动spark后，spark-shell或pyspark会出现一个警告。$ 安装scala，其实也不用安装，现在的spark自带。将配置好的spark文件拷贝到其他节点(单节点可忽略)运行spark-shell（Scala交互界面）
centOS7下Spark安装配置教程详解
09-15
在本文中，我们将深入探讨如何在CentOS7操作系统上安装和配置Apache Spark，这是一个流行的分布式计算框架。首先，我们需要确保我们的环境满足Spark的运行需求，包括Java Development Kit (JDK) 和Scala的安装。 1....
spark安装配置教程.docx
最新发布
07-15
#### 五、配置Spark配置文件 Spark的配置文件位于`$SPARK_HOME/conf`目录下。 1. **spark-env.sh**：用于设置Spark运行时的环境变量。可以复制`spark-env.sh.template`为`spark-env.sh`，并在其中添加需要的配置，...
Spark安装及配置详细步骤
cingdy0124的博客
11-17 1267
Spark安装及配置
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
### 基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优 #### 概述 随着大数据技术的发展，Hadoop生态系统不断成熟与完善，其中Apache Hive作为数据仓库工具，支持通过SQL语句进行查询、分析存储在Hadoop文件系统...
安装和配置Hadoop与Spark以及例程.zip
07-11
安装和配置Hadoop与Spark涉及多个步骤，以下是一个简化版的指南，用于在类Unix系统（如Linux）上进行安装和配置。这个过程通常在多台服务器上进行，包括一个主节点（Master）和多个工作节点（Slaves）。不过，为了...
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
08-28
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
Spark学习笔记(2)——Spark运行环境部署
m0_56602092的博客
07-28 3257
Spark只是一个数据处理框架和计算引擎，它必须要在一个特定的环境中才能运行。常用的运行环境有如下三种 一、 Local模式 Local模式是指不需要任何其它节点资源就可以在本地执行Spark代码的环境，不需要额外的进程进行资源管理，所有程序都运行在本地的一个进程环境中（如jvm)，一般用于教学，调试，演示等。在 IDEA 中运行代码的环境我们称之为开发环境，不太一样。 spark-3.0.0-bin-hadoop3.2.tgz表示的是基于3.2版本的Hadoop编译的spark，所以还需要安装配置had
[Spark] spark-shell 命令使用
热门推荐
Cindy的博客
07-12 2万+
环境：操作系统：CentOS7.3Java: jdk1.8.0_45Hadoop：hadoop-2.6.0-cdh5.14.0.tar.gz 1. spark-shell 使用帮助[hadoop@hadoop01 ~]$ cd app/spark-2.2.0-bin-2.6.0-cdh5.7.0/bin [hadoop@hadoop01 bin]$ ./spark-shell --help Usa...
Spark 启动文件start-all.sh 报错：没有找到文件目录No such file or directory
qq_35812358的博客
05-07 1万+
Spark 启动文件start-all.sh 报错：没有找到文件目录No such file or directory 首先，我通过ls 可以在下面发现确实有start-all.sh文件。 通过网上搜索说各种原因： 1、Hadoop下的配置文件里的java_home不对 我发现我是正确的 2、漏了spark/conf里那个env.sh的java_home 我正确 3、版本不兼容 我兼容 4、wi...
Hadoop集群--(4)spark搭建
周凡的博客
06-11 232
准备 需要hadoop集群，如不会搭建的请参考Hadoop集群–(1)搭建 1. scala安装 scala官网下载地址 移到网页最下面，选择自己的版本下载，然后上传到服务器 或直接下载 wget https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.tgz 解压 tar zxf scala-2.12.8.tgz -C /root/...
spark学习-29-源代码解析从start-all.sh脚本开始
九师兄
09-11 1297
1。先总体看一下启动脚本 2。start-all.shif [ -z "${SPARK_HOME}" ]; then export SPARK_HOME="$(cd "`dirname "$0"`"/..; pwd)" fi# Load the Spark configuration . "${SPARK_HOME}/sbin/spark-config.sh"# Start Master "$
Spark 安装及运行第一个程序遇到问题总结
zhouyu7373的专栏
03-01 1045
这里只说明一下单节点怎么配置，集群scp拷贝过去，配置一下启动节点就可以了 1、下载scala2.11.4版本 下载地址为：http://www.scala-lang.org/download/2.11.4.html 2、解压和安装（自己随便找个目录）： 解压 ：[spark@S1PA11 scala]$ tar -xvf scala-2.11.4.tgz 3、编辑 ~
Spark运行脚本解析 - start-all.sh
Veechange的博客
11-24 5196
部署Standalone Cluster模式的Spark，可以通过2种方法来启动Cluster：       1）通过手工的方式，单独在Master节点上启动master实例；然后，再单独在Worker节点上启动worker实例；       2）通过Spark自带的运行脚本来管理启动，只需要运行./sbin/start-all.sh，就可以自动启动master和所有的worker实例。  
Spark Standalone 全分布模式安装过程中常见问题
m0_61232019的博客
10-11 1397
1.启动了spark分布之后没有master，worker进程 2. 启动spark集群的时候提示“main” java.lang.UnsupportedClassVersionError:org/apache/spark/launcher/Main:Unsupported major.mior version 52.0 3. 访问sparkUI界面时出现无法访问此网站，ip拒绝了连接请求 4. 启动saprk-shell 的时候提示无法分配内存或spark-shel：44:6983 以杀死
Openfire+Spark安装与配置指南
手册覆盖了从Openfire服务器的安装、配置到Spark客户端的安装，以及MSN网关和RED5视频配置的设置。此外，还提到了使用SMACK库进行即时通信功能的开发。" **第一章 Java领域的IM解决方案** Openfire是基于Jabber协议...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值