Spark单机安装

最新推荐文章于 2024-03-26 11:40:48 发布
最新推荐文章于 2024-03-26 11:40:48 发布
阅读量1.1k 收藏 4
点赞数 4
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LiuY521/article/details/96143631
版权

                                                 Spark单机安装

目录

                                                 Spark单机安装

一.下载

二.解压

三.进入安装目录

四.进入conf目录文件

五.编辑spark-env.sh文件

六.进入BIN目录启动服务

七.启动成功显示

实现步骤：

 

一.下载

 wget http://bj-yzjd.ufile.cn-north-02.ucloud.cn/spark-2.0.1-bin-hadoop2.7.tgz

二.解压

三.进入安装目录

四.进入conf目录文件

五.编辑spark-env.sh文件

六.进入BIN目录启动服务

七.启动成功显示

 

实现步骤：

  • 1）安装和配置好JDK
  • 2）上传和解压Spark安装包
  • 3）进入Spark安装目录下的conf目录
  1. 复制conf spark-env.sh.template 文件为 spark-env.sh
  2. 在其中修改，增加如下内容：
  3. SPARK_LOCAL_IP=服务器IP地址
  4. Spark单机模式启动
  5. 在bin目录下执行：sh spark-shell --master=local

 

 

 

 

萌新Java程序猿
关注
  • 4
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux系统安装单机版Spark
01-09
背景 最近要开发智能推荐引擎，后期系统需要搭载在Spark集群上，前期要开发相关脚本，需要一个测试环境，所以向公司申请了一台主机，平台是Linux，操作系统CentOS，背景交代完毕，现在需要在单机Linux主机上部署Spark。 准备： JDK：1.8 Spark：2.4.5 Linux系统平台：本文所用Linux版本为CentOS 7 步骤 第一步：下载并解压JDK 首先去Oracle官网现在JDK压缩包 官网下载地址 我选择的版本是jdk-8u241-linux-x64.tar.gz 下载完成后上传到Linux服务器下，新建一个文件夹software，然后解压压缩包。 解压的Linux命
安装spark1.3.1单机环境
apple01010105的博客
04-27 139
本文介绍安装spark单机环境的方法，可用于测试及开发。主要分成以下4部分： （1）环境准备 （2）安装scala （3）安装spark （4）验证安装情况 1、环境准备 （1）配套软件版本要求：Spark runs on Java 6+ and Python 2.6+. For the Scala API, Spark 1.3.1 uses Scala ...
搭建Spark单机版环境
howard2005的专栏
03-26 536
搭建Spark单机版环境：下载、上传Spark安装包；解压至/usr/local；配置环境变量；验证版本。
单机spark的安装
youhebuke_f的博客
10-03 465
单机spark
spark单机版安装
杜海的博客
02-18 1796
安装 Spark 之前需要先安装 Java，Scala 及 Python。 一、安装java java安装过程不在多说，可以在我其他文章中查找，下面附上java SE JDK下载链接 http://www.oracle.com/technetwork/java/javase/downloads/index.html 查看java版本 1.2 安装 Scala [hadoop@cnbugs ~]$ wget https://downloads.lightbend.com/scala/.
Spark安装、分布式程序开发
08-30
第1章 安装VMWare Workstation 10；第2章 VMware 10安装CentOS 6；第3章 CentOS 6安装Hadoop；第4章 安装部署Spark；第5章Spark上机操作；第6章 开发Spark分布式程序
spark的单机和集群安装与配置
12-09
这是我根据自己的经验，一步步写的，写的比较完整哦，希望能帮到各位小伙伴
Spark实验：Standalone模式安装部署（带答案）1
08-03
1. 解压Spark安装包 2. 配置Spark环境变量 2. 修改 spark-env.sh 文件，完成以下设置： 1. 设置运行master进程的节点， e
Linux安装Spark集群
09-14
Linux安装Spark集群 Spark可以在只安装了JDK、scala的机器上直接单机安装，但是这样的话只能使用单机模式运行不涉及分布式运算和分布式存储的代码，例如可以单机安装Spark，单机运行计算圆周率的Spark程序。...
Spark 安装（单机版）
Qinsurpass的博客
06-01 427
Spark 安装（单机版）解压文件到指定目录修改配置文件重命名到/spark240/conf目录下（1）saprk-env.sh（2）slaves （配置单机的话，则不需要配置）配置环境变量运行Spark (已经安装了 scala)先启动 Hadoop启动 SparkSpark 使用 Python 开发配置python环境安装Python启动PySpark的客户端 注意：安装spark之前要安装jdk，hadoop 解压文件到指定目录 [root@cai install]# tar -zxvf spark-
Spark 一：安装（单机版）
cai_and_luo的博客
05-19 327
Spark 一：安装（单机版）解压文件到指定目录修改配置文件重命名到/spark240/conf目录下（1）saprk-env.sh(2)slaves （配置单机的话，则不需要配置）配置环境变量运行Spark (已经安装了 scala)先启动 Hadoop启动 SparkSpark 使用 Python 开发配置python环境安装Python启动PySpark的客户端 注意：安装spark之前要安装jdk，hadoop 解压文件到指定目录 [root@cai install]# tar -zxvf spa
Spark(单机版)安装
CBeann的博客
07-12 586
环境 hadoop-2.7.2 https://pan.baidu.com/s/10WSRBljmM9vGhS7PHz9NSg spark-2.1.1-bin-hadoop2.7 链接：https://pan.baidu.com/s/13gHKbWYPRVoq7OjVaURPRQ 提取码：p3z3 复制这段内容后打开百度网盘手机App，操作更方便哦 hadoop安装（单机版） ht...
spark初探--单机快速安装
道听途说
01-23 446
上次接触spark还在2013年，那会应该是0.*的版本，相当的不稳定，近两年spark越来越火，实在是受不了诱惑，膜拜膜拜。 安装那点小事    单机伪分布尝尝鲜，下载http://d3kbcqa49mib13.cloudfront.net/spark-2.1.0-bin-hadoop2.7.tgz，要求python2.6+ java1.7+ scala2.11+    
单机安装spark
yuleicqut的专栏
11-26 770
1. 下载 spark 解压： mkdir /opt/spark tar zxvf spark-2.2.0-bin-hadoop2.7.tgz mv spark-2.2.0-bin-hadoop2.7 /opt/spark/ 修改/etc/profile文件，在文件末尾添加: export SPARK_HOME=/opt/spark/spark-2.2.0-bin-hadoop
spark安装--单机
little_sloth的博客
08-06 206
spark安装 上传安装包 解压 vi /etc/profile export SPARK_HOME=/opt/spark export PATH=SPARKHOME/bin:SPARK_HOME/bin:SPARKH​OME/bin:PATH cp ./conf/spark-env.sh.template ./conf/spark-env.sh vi ./conf/spark-env.sh export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop #使 spark 运行
spark单机安装
kongkong的专栏
02-20 344
spark下载地址：http://spark.apache.org/downloads.html   #解压:    tar -xzvf spark-2.4.0-bin-hadoop2.6.tgz cd  spark-2.4.0-bin-hadoop2.6 #执行命名 进入控制台 ./bin/spark-shell var lines = sc.textFile("README...
window下安装单机的spark
百物易用是苏生
07-06 628
前提条件：java 8、scala已经安装完毕 而hadoop得安装是需要yarn管理或访问hdfs分布式文件集群时才需要安装，单机版可以考虑不安装hadoop，仅仅安装spark spark官网：http://spark.apache.org/downloads.html 下载完spark-2.4.3-bin-hadoop2.6.tgz 后直接解压文件即可， 然后设置环境变量...
Spark安装单机版
RJSong
03-14 538
1、下载地址      https://archive.apache.org/dist/spark/spark-2.1.0/2、通过FTP上传至Linux服务器某目录文件下    3、解压缩      tar -zxvf spark-2.1.0-bin-without-hadoop.tgz.gz4、重命名      mv spark-2.1.0-bin-without-hadoop spark5、...
spark单机模式安装步骤
最新发布
04-06
Spark是一个开源的大数据处理框架，可以在单机模式下进行安装和使用。以下是Spark单机模式的安装步骤： 1. 首先，确保你的机器上已经安装了Java环境。你可以通过在终端中输入`java -version`来检查Java是否已经安装。 2. 下载Spark安装包。你可以从Spark官方网站（https://spark.apache.org/downloads.html）下载最新版本的Spark。 3. 解压Spark安装包。将下载的Spark压缩包解压到你想要安装的目录下，例如`/opt/spark`。 4. 配置环境变量。打开终端，编辑`~/.bashrc`文件（或者`~/.bash_profile`），添加以下内容： ``` export SPARK_HOME=/opt/spark export PATH=$PATH:$SPARK_HOME/bin ``` 保存文件后，执行`source ~/.bashrc`（或者`source ~/.bash_profile`）使环境变量生效。 5. 配置Spark。进入Spark安装目录，复制一份`spark-env.sh.template`文件并重命名为`spark-env.sh`： ``` cd /opt/spark/conf cp spark-env.sh.template spark-env.sh ``` 编辑`spark-env.sh`文件，设置以下环境变量： ``` export SPARK_MASTER_HOST=localhost export SPARK_MASTER_PORT=7077 export SPARK_LOCAL_IP=localhost ``` 保存文件后，关闭编辑器。 6. 启动Spark。在终端中执行以下命令启动Spark： ``` cd /opt/spark ./sbin/start-master.sh ``` 这将启动Spark的主节点。 7. 访问Spark Web界面。打开浏览器，访问`http://localhost:8080`，你将看到Spark的Web界面，其中包含有关Spark集群的信息。 至此，你已经成功安装并启动了Spark单机模式。你可以使用Spark提供的命令行工具或编写Spark应用程序来进行数据处理和分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值