Spark伪分布安装与配置

最新推荐文章于 2024-07-25 10:39:07 发布
最新推荐文章于 2024-07-25 10:39:07 发布
阅读量426 收藏
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43911280/article/details/104481173
版权

安装过程

  1. 下载安装包：

    http://archive.apache.org/dist/spark/spark-2.3.2/

  2. 使用WinSCP将下载好的压缩包上传至ubuntu上。并进行解压。 在这里插入图片描述

  3. 解压完成使用软连接，创建一个快捷方式。
    在这里插入图片描述

  4. 配置环境变量

 nano ~/.bashrc

在这里插入图片描述
5. 输入以上配置代码。之后，输入命令使配置生效。

source ~/.bashrc
  1. 使用命令切换到Spark conf目录下,复制并 重命名。
    在这里插入图片描述
    在这里插入图片描述
    7.修改Spark-env.sh
    在这里插入图片描述
    8.启动Spark集群
    进入到Spark按照目录下，执行sbin/目录下的启动命令
    在这里插入图片描述
    9.执行结果如下：
    在这里插入图片描述

10.进入浏览器地址栏输入自己的ip:8080
在这里插入图片描述

安装完成

just-so-so.
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
搭建 Spark 单机伪分布式环境
qq_55944883的博客
04-02 1821
是配置分布式文件系统对于每个文件块的副本数量设置，默认为3,而 在伪分布式环境下设置为 1，因为只有一个节点。下载 Hadoop-2.7.7 安装包，解压至/home/hj/hadoop-2.7.7 文件夹。下载 Hadoop-2.7.7 安装包，解压至/home/hj/hadoop-2.7.7 文件夹。是配置默认文件系统所在的位置，将其中主机名替换为自 己的主机名称（框架中资源管理者的主机名，因为就一个节点，所以设置为当前主机名。为输出文件夹（是文件夹,不是文件！为输入文件夹（是文件夹,不 是文件！
Spark Standalone 伪分布模式安装
m0_61232019的博客
10-11 1046
伪分布模式是基于Standalone模式来实现的，所以也叫Standalone伪分布模式。Spark在生产环节中，主要部署在安装linux系统的集群中。在linux系统中安装Spark需要先安装JDK，Scala等所需的依赖。
spark伪分布部署
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-30 633
本实验任务主要完成基于ubuntu环境的Spark伪分布部署、配置和调试工作。通过完成本实验任务，要求学生熟练掌握Spark伪分布部署方法，为后续实验的开展奠定Spark平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。掌握Spark伪分布环境的搭建配置本次环境是：Ubuntu16.04 所需root密码为simpleware-sshspark有以下几种安装模式，每种安装模式都有自己不同的优点和长处。   local(本地模式)： 常用于本地开发测试，本地还分为loc
【Ubuntu】Spark 伪分布式安装
懂得一千零一种,赋予你失败的方法！
03-16 514
文章目录Ubuntu下的Spark 伪分布式安装一、安装Scala二、安装Spark三、配置Spark文件四、测试 Ubuntu下的Spark 伪分布式安装 资源获取： scala：https://pan.baidu.com/s/1M1KtWVqVXDhvxbKJQW6Fwg 7in9 spark：https://pan.baidu.com/s/1q2JuGuiaIWFv1IC0nh5NVw zs2m 一、安装Scala 解压安装包至指定目录:tar -zxvf scala-2.10..
伪分布安装spark
sparename的博客
04-20 3609
spark安装（伪分布安装） 上传文件 用xtfp上传文件至/root/softwares 配置文件 cd /root/softwares #解压 tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -C /usr/local/ cd /usr/local/ #重命名 mv spark-2.4.0-bin-hadoop2.7/ spark-2.4.0 cd spark-2.4.0/conf/ #配置spark-env.sh文件 cp spark-env.sh.template s
Spark伪分布安装
weixin_43708325的博客
05-26 489
一、官网下载安装Scala：scala-2.12.8.tgz https://www.scala-lang.org/download/ tar -zxvf scala-2.12.8.tgz -C /opt/module mv scala-2.12.8 scala 测试：scala -version 启动：scala 二、官网下载安装Spark：spark-2.4.2-bin-hadoop2.7.t...
Spark全分布模式的安装和配置
qq_28286027的博客
10-09 1064
Spark的安装模式一般分为三种：1.伪分布模式：即在一个节点上模拟一个分布式环境，master和worker共用一个节点，这种模式一般用于开发和测试Spark程序；2.全分布模式：即真正的集群模式，master和worker部署在不同的节点之上，一般至少需要3个节点（1个master和2个worker），这种模式一般用于实际的生产环境；3.HA集群模式：即高可用集群模式，一般至少需要4台机器（1...
spark伪分布.docx
10-14
Spark伪分布（Standalone）模式安装部署 在大数据处理中，Spark是非常流行的计算引擎，它可以快速处理大量数据。然而，为了让Spark正常运行，需要安装和部署Spark伪分布（Standalone）模式。在本文中，我们将介绍...
单机伪分布hadoop-spark配置_Spark!_spark_spark配置_hadoop_
10-01
接下来，我们将详细探讨如何在单机环境下配置Hadoop和Spark的伪分布式模式。 首先，我们需要理解Hadoop的伪分布式配置。这涉及到以下几个步骤： 1. **下载Hadoop**: 获取Hadoop的源码或者二进制发行版，确保版本与...
hadoop&spark环境配置.pdf
07-16
- 编辑配置文件以适应伪分布模式。 #### 五、Hadoop 完全分布式搭建 - **步骤**: - 在集群中安装和配置Hadoop。 - 配置SSH无密码登录。 - 编辑配置文件以适应分布式模式。 - 配置网络时间同步和IP映射。 - ...
Hadoop技术-HBase安装与配置.pptx
11-02
Hadoop技术-HBase安装与配置是一项关键的任务，尤其对于那些希望构建大数据处理平台的IT专业人员来说。HBase，作为Apache Hadoop生态系统中的一个分布式、高性能的NoSQL数据库，为半结构化数据提供了高可靠性和低...
hadoop、hive、spark实验
06-16
6. 实现 Hadoop 伪分布安装部署 7. 实现 Hadoop 完全分布式安装部署 8. 实现 HDFS 的基本操作，例如文件创建与写入、文件上传下载等 9. 实现 MapReduce 编程，例如单词计数、数据过滤及保存等 10. 实现 Hive 环境...
linux安装spark安装（详解版-单机/伪分布）
qq_46138492的博客
01-07 1883
linux安装spark安装（详解版-单机/伪分布）
Spark伪分布安装（依赖Hadoop）
marho
08-24 6757
一、伪分布安装Spark 安装环境： Ubuntu 14.04 LTS 64位+Hadoop2.7.2+Spark2.0.0+jdk1.7.0_76 1、安装jdk1.7 （1）下载jdk-7u76-linux-x64.tar.gz； （2）解压jdk-7u76-linux-x64.tar.gz，并将其移动到/opt/java/jdk路径下（自建）； 命令：tar -zxvf jdk-
搭建Spark的伪分布模式环境
surge
11-05 691
搭建Spark的伪分布模式环境     1、解压：tar -zxvf spark-2.1.0-bin-hadoop2.4.tgz -C ~/training/     2、配置参数文件: conf/spark-env.sh         export JAVA_HOME=/root/training/jdk1.7.0_75         export SPARK_MASTER_HOST=big...
Linux 下伪分布式安装spark
SmatrStone的博客
02-26 383
首先要安装Scala, 然后再装spark 链接：https://pan.baidu.com/s/1ztL8u7tjm7t6Gm2yg-gWig 提取码：km7m 这里面是scala2.11.8和spark2.2.3 然而Scala又是在java虚拟环境下运行的,没装jvm的得先装 1.下载解压然后放到指定位置,打开gedit ~/.bashrc文件, 加路径进去 export SCALA_HO...
spark伪分布standalone搭建
kw-home
12-05 2351
一．环境准备 jdk 1.8.0 hadoop2.7.3 伪分布式部署 scala 2.11.8 支持spark2.0.1及以上版本 spark2.1.1二．Spark安装模式(本文伪分布式) spark有以下几种安装模式，每种安装模式都有自己不同的优点和长处。 local(本地模式)： 常用于本地开发测试，本地还分为local单线程和local-cluster多线程; standalone(集群...
Spark核心知识要点（三）
最新发布
ytp552200ytp的博客
07-25 895
Spark核心知识要点（三）
spark环境的安装与配置
05-14
下面是Spark环境的安装与配置： 1. 下载Spark：前往官网（https://spark.apache.org/downloads.html）下载Spark的最新版本，根据自己的需要选择合适的版本和下载链接。通常建议下载预编译包，因为源码包需要自己...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值