单机式Spark环境配置

最新推荐文章于 2024-04-27 21:15:40 发布
最新推荐文章于 2024-04-27 21:15:40 发布
阅读量334 收藏
点赞数
文章标签： spark scala 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40333693/article/details/109383903
版权

一.下载安装包
1.下载Spark压缩包：选择较新的Spark2.4版本，下载地址
https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.6.tgz
2.在Scala官网下载scala-2.11.12.tgz压缩包
二，在虚拟机中解压文件
1.将Scala压缩文件解压到opt目录下：tar -zxvf scala-2.11.12.tgz -C /opt
2.将Spark压缩文件解压到opt目录下：tar -zxvf spark-2.4.5-bin-hadoop2.6.tgz -C /opt
3.分别重命名：

mv  spark-2.4.5-bin-hadoop2.6 spark
mv scala-2.11.12 scala
最低0.47元/天 解锁文章
jalrs
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
搭建Spark单机版环境
m0_59791585的博客
06-16 2363
3
Windows单机下Spark环境搭建
weixin_54303519的博客
03-21 410
供大家参考
Spark环境搭建（保姆级教程）
热门推荐
tangyi2008的专栏
02-24 5万+
Spark 是一个大规模数据处理的统一分析引擎 本文主要介绍Spark的相关配置，以及各种模式的代码提交，包括Local,Standalone,YARN。 文末有相应资源下载网盘链接。
搭建单机版的hadoop ,spark和scala服务器
最新发布
udhdhw的博客
04-27 1940
将 mapred-site.xml.template 复制一份为 mapred-site.xml，再配置 mapred-site.xml。export JAVA_HOME=/usr/local/src/jdk1.8.0_152 #指定jdk位置如没有需下载。使用source /etc/profile来更新启用scala。/hadoop/etc/hadoop #指定hadoop路径。编写/etc/profile在最下面添加如下路径。使用./bin/spark-shell 命令。检查 JAVA 是否可用。
搭建Spark开发环境
weixin_64272885的博客
05-18 1475
由于Spark仅仅是一种计算框架，不负责数据的存储和管理，因此，通常都会将Spark和Hadoop进行统一部署，由Hadoop中的、HBase等组件负责数据的存储管理，Spark负责数据计算。安装Spark集群前，需要安装Hadoop环境。
Spark学习笔记(2)——Spark运行环境部署
m0_56602092的博客
07-28 3179
Spark只是一个数据处理框架和计算引擎，它必须要在一个特定的环境中才能运行。常用的运行环境有如下三种 一、 Local模式 Local模式是指不需要任何其它节点资源就可以在本地执行Spark代码的环境，不需要额外的进程进行资源管理，所有程序都运行在本地的一个进程环境中（如jvm)，一般用于教学，调试，演示等。在 IDEA 中运行代码的环境我们称之为开发环境，不太一样。 spark-3.0.0-bin-hadoop3.2.tgz表示的是基于3.2版本的Hadoop编译的spark，所以还需要安装配置had
Spark环境搭建（本地模式）
m0_48639280的博客
12-27 1577
前置环节介绍： node1：hadoop NN DN RM NM ，hive node2：hadoop SNN DN NM node3：hadoop DN NMlocal模式基本原理 本质：启动一个JVM Process进程(一个进程里面有多个线程)，执行任务Task、 Local模式可以限制模拟Spark集群环境的线程数量，即local[a]或local[*]其中N代表可以使用N个线程，每个线程拥有一个cpu core。如果不指定N。则默认一个线程（该线程有一个core），通常CPU有几个core，就指
单机伪分布hadoop-spark配置_Spark!_spark_spark配置_hadoop_
10-01
接下来，我们将详细探讨如何在单机环境下配置Hadoop和Spark的伪分布式模式。 首先，我们需要理解Hadoop的伪分布式配置。这涉及到以下几个步骤： 1. **下载Hadoop**: 获取Hadoop的源码或者二进制发行版，确保版本与...
Linux系统安装单机版Spark
01-09
最近要开发智能推荐引擎，后期系统需要搭载在Spark集群上，前期要开发相关脚本，需要一个测试环境，所以向公司申请了一台主机，平台是Linux，操作系统CentOS，背景交代完毕，现在需要在单机Linux主机上部署Spark。...
linux环境不使用hadoop安装单机版spark的方法
09-15
在Linux环境中，不依赖Hadoop安装单机版Spark是一种常见的实践，特别是对于学习和测试Spark功能的初学者或者小型项目而言。本篇文章将详细介绍如何在不使用Hadoop的情况下，在Linux系统上安装和配置Spark。 首先，...
spark之Standalone模式部署配置详解
08-29
Standalone 模式是 Spark 的自带模式，它可以在单机或集群环境中运行。在 Standalone 模式下，Spark 可以在本地或远程机器上运行，且可以使用 ZooKeeper 实现高可用性。 准备工作 在部署 Spark 之前，需要进行以下...
spark-环境部署实验
12-21
配置spark环境，运行测试，信息过滤，遇到的问题总结
PySpark实战（二）——Spark环境配置
Stack It Up
03-14 1683
Spark环境配置
spark的环境配置
lookqinghuaci的博客
06-17 2885
进入spark配置目录后，执行命令：cp spark-env.sh.template spark-env.sh与vim spark-env.sh export JAVA_HOME=/usr/local/jdk1.8.0_162 export SPARK_MASTER_HOST=master export SPARK_MASTER_PORT=7077 JAVA_HOME：指定JAVA_HOME的路径。若集群中每个节点在/etc/profile文件中都配置了JAVA_HOME，则该选项可以省略，Spark集群启
01-Spark环境部署
clear-ninghongkang的博客
08-13 1085
​ **client模式适用于测试调试程序。**Driver进程是在客户端启动的，这里的客户端指的是提交应用程序的当前节点。在Driver端可以看到 task执行的情况​ **生成环境中不能使用client模式。**因为：假设要提交100个application 到集群运行，Driver每次都会在 client端启动，那么就会导致客户端100网卡流量暴增的问题。
Spark安装与配置（单机版）（保姆级教程）
wanjialin的博客
12-06 6601
Spark简述： Spark：快速通用的大规模数据处理引擎，特点是速度快，易使用。 Spark安装前准备工作： 1、安装配置好jdk，如果不会安装可以跳转到脚本安装jdk保姆级教程 2、搭建配置好Hadoop，如果不会配置安装可以跳转到Hadoop配置保姆级教程 3、安装好Scala，如果不会安装可以跳转到Linux下安装配置Scala保姆级教程 Spark安装步骤： 1、通过xftp将spark安装包上传到Linux中，版本是spark-2.4.5-bin-hadoop2.6.tgz 2、解压缩tar -
Spark 单机版环境版的简单操作
梁辰兴的博客
03-29 687
虽然你可以在任何时候定义新的RDD，但Spark 只会惰性计算这些RDD。比如，看看例2 和例3，我们以一个文本文件定义了数据，然后把其中包含spark的行筛选出来。相反， 一旦Spark 了解了完整的转化操作链之后，它就可以只计算求结果时真正需要的数据。事实上，在行动操作first() 中，Spark 只需要扫描文件直到找到第一个匹配的行为止，而不需要读取整个文件。另一方面，行动操作会对RDD 计算出一个结果，并把结果返回到驱动器程序中，或把结果存储到外部存储系统（如HDFS）中。执行：pyspark。
Spark环境搭建和使用方法
Morse_Chen的博客
12-14 3293
本文讲解如何在Linux系统中安装Spark并配置Spark环境，以及Spark的基本使用方法。
Spark环境搭建
clear-ninghongkang的博客
04-17 746
Spark作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为Yarn，不过逐渐容器式环境也慢慢流行起来。接下来，我们就分别看看不同环境下Spark的运行。
安装spark单机版
11-18
3. 配置Spark环境变量，在/etc/profile文件中添加如下内容： ```shell export SPARK_HOME=/opt/spark export PATH=$PATH:$SPARK_HOME/bin ``` 4. 启动Spark，进入Spark安装目录，执行如下命令： ```shell ./...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值