本地模式安装Spark

最新推荐文章于 2024-02-20 11:13:54 发布
最新推荐文章于 2024-02-20 11:13:54 发布
阅读量256 收藏
点赞数
文章标签： hadoop spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45481509/article/details/107305120
版权

安装Linux

  1. 打开 Microsoft Store，搜索Ubuntu，点击安装，等待安装完成；
  2. 菜单栏点击Ubuntu图标，打开命令行窗口之后会提示设置用户名和密码，用户名设为hadoop，密码随意；
  3. 至此，Windows环境下安装Linux完成！

安装Java环境

因为Spark程序经编译后运行在Java虚拟机上，所以必须安装Java（一般是JDK）：

  1. 指定JDK安装目录
cd /usr/lib
mkdir jvm
  1. 获取JDK安装包，这里选择从JDK国内华为镜像下载
# 下列操作均在usr/lib/jvm目录下
# 下载
sudo wget https://repo.huaweicloud.com/java/jdk/13+33/jdk-13_linux-x64_bin.tar.gz
# 解压缩
最低0.47元/天 解锁文章
Leon221717
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark本地环境搭建（local模式）
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 4624
大数据实验教学系统Spark本地环境搭建（local模式）spark有以下几种运行模式，每种运行模式都有自己不同的优点和长处。了解Spark不同安装包之间的区别   安装和配置Spark环境（本地模式）   测试Spark安装是否成功。1、安装和配置Spark环境（本地模式）   2、测试Spark。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2.3.2，Hadoop-2.7.3   在本实验环境中，Spark安装包位于以下位置：/data/software/sp
spark3.0.0单机模式安装
最新发布
m0_64825044的博客
04-24 553
添加以下内容，/bigdata/hadoop就是hadoop的路径，可根据自己的实际情况修改。下载spark3.0.0版本，hadoop和spark版本要对应，否则会不兼容。用xftp上传Linux虚拟机，上传目录/bigdata（可修改）注：此安装教程基于hadoop3集群版本。这是一个求Π的示例程序，输出如下。打开spark shell终端。修改spark配置文件。
Spark本地模式安装
wux_labs的博客
12-12 1221
Spark本地模式即单机模式，以一个独立的进程，通过其内部的多个线程来模拟整个Spark运行时环境，本地模式只需要在1台服务器上安装Spark即可。本地模式的安装非常简单，只需要将下载的Spark软件安装包解压到目标位置即安装完成。
spark本地安装教程
qq_41358574的博客
11-15 2211
你可以输入一条语句，pyspark会立即执行语句并返回结果，这就是我们所说的REPL（Read-Eval-Print Loop，交互式解释器），为我们提供了交互式执行环境，表达式计算完成就会输出结果，而不必等到整个程序运行完毕，因此可即时查看中间结果，并对程序进行修改，这样可以在很大程度上提升开发效率。32、Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。
Win10 环境下 spark 本地环境的搭建
Dyun_480163的博客
12-01 1617
此电脑(右击)==>属性==>高级系统设置==>环境变量==>系统变量==>Path==>新建。此电脑(右击)==>属性==>高级系统设置==>环境变量==>系统变量==>Path==>新建。此电脑(右击)==>属性==>高级系统设置==>环境变量==>系统变量==>Path==>新建。下载 jdk1.8.0_66_windows-x64_bin.exe(或其他版本)，点击安装。此电脑(右击)==>属性==>高级系统设置==>环境变量==>系统变量==>新建。启动 jupyter notebook。
【Spark】Windows下安装Spark（亲测成功安装）
热门推荐
tttzzzqqq2018的博客
08-02 1万+
安装Spark之前，需要安装JDK、Hadoop、Scala。显示上面的正常运行界面，表示本地的spark环境已搭建完成！环境变量Path添加条目%SCALA_HOME%\bin。为了验证Scala是否安装成功，开启一个新的cmd窗口。环境变量Path添加条目%SPARK_HOME%\bin。为了验证Spark是否安装成功，开启一个新的cmd窗口。设置环境变量 %SCALA_HOME%设置环境变量 %SPARK_HOME%本地点击msi文件安装，安装目录为。可以看到Scala安装成功。安装方法就不赘述了。
spark本地开发模式配置
11-24
在自己的机器上配置spark的本地开发模式，可以用来测试spark代码是否正确，如果没问题，可以提交到spark集群上去运行，免去每次都要打包放到集群上去测试的麻烦。因为在网络上没找到合适的资源可以快速构建，所以就...
Spark实验：On Yarn模式安装部署（带答案）1
08-03
在这个实验中，我们将详细探讨如何在Yarn模式下安装和部署Spark集群。 首先，我们需要准备实验环境，这里包括三台虚拟机，操作系统为CentOS 7.5，Hadoop版本为2.7.3，Spark版本为2.1.1。这些版本的兼容性对于实验的...
Spark集群模式安装.pdf
01-02
自己写的，最简单的，最直接的，最明了的安装教程 Spark 是一种与 Hadoop 相似的开源集群计算...与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
windows10下spark2.3.0本地开发环境搭建 win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本： win10 家庭装，64位，x86处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-2.11.8 Maven-3.5.3 ideaIC-2018.1.4.exe spark-2.3.0-bin-hadoop2.7 对应博文：https://blog.csdn.net/hambition/article/details/80769771 由于博文上传图片比较麻烦，图片又非常之多，没分的同学可直接看博文。
spark-3.0.0-bin-hadoop2.7.tgz
07-17
spark-3.0.0-bin-hadoop2.7.tgz 官网下载不了的，需要资源的，可以到这里下载哦
spark之Standalone模式部署配置详解
08-29
Spark 是一个基于内存的集群计算引擎，它可以在多种模式下运行，包括本地模式、伪分布式模式、集群模式等。在这些模式中，Standalone 模式是 Spark 的自带模式，对于大多数情况来说，Standalone 模式足够了。本文将...
spark安装包+spark实验安装软件
06-15
- **选择运行模式**: Spark可以本地模式、伪分布式模式和完全分布式模式运行。对于开发和测试，通常使用本地模式；生产环境通常选择分布式模式。 **3. Spark与Hadoop的关系** Spark可以与Hadoop生态系统集成，但本...
学习安装spark本地环境
Areasx的博客
02-20 599
原因分析：是由于java版本的问题不匹配（过高）导致hadoop集群运行报错（当前java版本是17）。（1）spark按照教程安装之后，cmd进行spark测试，未能正确安装上spark程序。原因分析：spark安装包解压出来之后存在两层目录，所以读取不成功。------该文章将记录实际操作过程中遇到的问题，及其参考文章。（3）jdk版本更改为1.8后，hadoop依旧报错（问题解决）原因分析：电脑设备名称，存在下划线，导致hadoop初始化失败。（2）平台加载hadoop库，初始化失败（问题未解决）
windows搭建pyspark环境详细教程
小颜颜6035的博客
05-17 2707
将hadoop.dll和winutils.exe均拷贝到D:\hadoop-2.7.1\bin下和C:\Windows\System32下（两个文件各拷贝一份）此时bin目录（D:\hadoop-2.7.1\bin）下可能没有hadoop.dll及winutils.exe文件，接下来安装py4j,在cmd中输入pip install py4j。变量值：D:\spark-3.0.0-bin-hadoop2.7。变量值：D:\jdk 也就是jdk的安装路径。变量值：D:\hadoop-2.7.1。
python—spark本地安装及环境变量配置
Sun_shine99的博客
04-20 3949
Spark和Hadoop的关系是，Hadoop的MapReduce是大家广为熟知的计算框架，而Spark则是一种新的计算框架。比如，textFile("/usr/local"), textFile("/usr/local/.txt"), textFile("/usr/local/.gz")1.如果使用了本地文件系统的路径，那么，必须要保证在所有的worker节点上，也都能够采用相同的路径访问到该文件，比如，可以把该文件拷贝到每个worker节点上，或者也可以使用网络挂载共享文件系统。（注意最前面的圆点）
Spark环境搭建（本地模式）
m0_48639280的博客
12-27 1584
前置环节介绍： node1：hadoop NN DN RM NM ，hive node2：hadoop SNN DN NM node3：hadoop DN NMlocal模式基本原理 本质：启动一个JVM Process进程(一个进程里面有多个线程)，执行任务Task、 Local模式可以限制模拟Spark集群环境的线程数量，即local[a]或local[*]其中N代表可以使用N个线程，每个线程拥有一个cpu core。如果不指定N。则默认一个线程（该线程有一个core），通常CPU有几个core，就指
M1spark单机模式安装
03-27
M1spark是一种用于在单机上运行Apache Spark的模式。下面是M1spark单机模式安装的步骤： 1. 首先，确保你的机器上已经安装了Java Development Kit (JDK)。你可以通过在终端中运行`java -version`命令来检查是否已经安装了JDK。 2. 下载Spark安装包。你可以从Spark官方网站（https://spark.apache.org/downloads.html）下载最新版本的Spark。 3. 解压下载的Spark安装包。你可以使用以下命令解压： ``` tar -xvf spark-<version>.tgz ``` 4. 进入解压后的Spark目录： ``` cd spark-<version> ``` 5. 在Spark目录中，复制一份默认的配置文件模板： ``` cp conf/spark-env.sh.template conf/spark-env.sh ``` 6. 编辑`conf/spark-env.sh`文件，设置以下环境变量： ``` export SPARK_MASTER_HOST=<your_host_ip> export SPARK_MASTER_PORT=<master_port> export SPARK_LOCAL_IP=<your_local_ip> ``` 其中，`<your_host_ip>`是你的主机IP地址，`<master_port>`是Spark Master节点的端口号，`<your_local_ip>`是你的本地IP地址。 7. 启动Spark Master节点。在Spark目录中，运行以下命令： ``` ./sbin/start-master.sh ``` 8. 访问Spark Master的Web界面。在浏览器中输入`http://<your_host_ip>:8080`，你将看到Spark Master的Web界面。 9. 启动Spark Worker节点。在Spark目录中，运行以下命令： ``` ./sbin/start-worker.sh spark://<your_host_ip>:<master_port> ``` 其中，`<your_host_ip>`是你的主机IP地址，`<master_port>`是Spark Master节点的端口号。 10. 现在，你已经成功安装并启动了M1spark单机模式。你可以使用Spark提供的API和工具来进行数据处理和分析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值