win10安装spark流程

最新推荐文章于 2023-07-26 00:52:14 发布
最新推荐文章于 2023-07-26 00:52:14 发布
阅读量4.8k 收藏 12
点赞数
文章标签： win10 spark安装
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/njyr21/article/details/80291630
版权
本文详细记录了在Windows 10操作系统中安装Spark的全过程，包括JDK、Scala、Spark和Hadoop的安装步骤。通过设置环境变量、下载安装包、验证安装成功等关键环节，确保每个组件正确配置并能正常运行。
摘要由CSDN通过智能技术生成

win10安装spark流程

说明

安装步骤分为java，scala，spark和hadoop四步，以下是对我整个安装过程的记录。


一、安装JDK

官网下载了8u172版本。点击打开链接

安装完毕以后，添加环境变量JAVA_HOME、增加环境变量path路径。



打开cmd键入java -version，看到如下界面说明java安装成功。



二、安装scala

官网下载了msi格式，并安装成功。点击打开链接

最低0.47元/天 解锁文章
NJYR21
关注
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
windows10下spark2.3.0本地开发环境搭建 win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本： win10 家庭装，64位，x86处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-2.11.8 Maven-3.5.3 ideaIC-2018.1.4.exe spark-2.3.0-bin-hadoop2.7 对应博文：https://blog.csdn.net/hambition/article/details/80769771 由于博文上传图片比较麻烦，图片又非常之多，没分的同学可直接看博文。
spark在windows10下的安装教程
没错我是程序猿
03-12 1万+
Spark环境搭建 安装步骤分为java, hadoop, scala和 spark四步，其中java和hadoop在上一个环境配置中已经安装完毕，Win10下的Hadoop安装及简单操作，因此只需要安装 scala和 spark。以下是对我整个安装过程的记录。 首先登陆http://spark.apache.org/downloads.html下载符合本机Hadoop和JDK版本的Spark...
怎么在windows10环境下搭建hadoop+spark环境
分享毕业设计的案例和论文
05-24 720
您可以通过访问http://localhost:9870检查Hadoop的Web界面，确认集群已成功启动。您可以通过访问http://localhost:8080检查Spark的Web界面，确认集群已成功启动。打开命令提示符或PowerShell，并导航到Hadoop安装目录的。打开命令提示符或PowerShell，并导航到Spark安装目录的。解压Hadoop压缩包到您选择的目录。将解压后的文件夹重命名为。解压Spark压缩包到您选择的目录。将解压后的文件夹重命名为。在Hadoop安装目录中，找到。
【Hadoop】Windows下安装Hadoop（手把手包成功安装）
tttzzzqqq2018的博客
07-26 2万+
【实操】Windows下安装Hadoop（手把手包成功安装）
windows安装spark和hadoop
sunny_ice的专栏
10-11 2501
windows安装spark和hadoop
【Spark入门】1、Spark在windows下的环境搭建（包含jdk、scala、spark、hadoop的安装和配置）
PrincessLin的专栏
06-10 758
本电脑之前未安装过相关的任何软件，比如scala、jdk、hadoop、spark之类的都没安装过。 本教程正是在尝试安装的过程中记录的， 本人健忘+很菜，怕后期把电脑弄崩溃了还得重新搭建，故提前记录好。 一、安装JDK 1、JDK下载地址：（jdk开源且免费，故可从官网直接下） http://www.oracle.com/technetwork/java/javase/download...
Windows10安装spark（包括hadoop安装）
小白白的博客
11-24 3200
（作者：陈玓玏） 环境安装 命令行中输入java –version，看是否能正确输出版本信息，不能则需要安装，可以自己搜索一下Windows下java环境的安装。 Scala安装 下载地址：http://www.scala-lang.org/download/2.11.8.html 下载安装后配置路径，在环境变量的系统变量path中添加以下链接： 在命令行输入scala，能够输出版本信息即安装...
SparkLocalTest：基于IDEA的Win10本地开发测试Spark IDE工程
02-21
本文将深入探讨如何在Windows 10操作系统上利用IDEA进行Spark的本地开发与测试，以及"SparkLocalTest"项目的核心概念。 首先，安装Scala插件是IDEA用于开发Spark应用的基础。在IDEA中，通过"File" -> "Settings" ->...
hadoop-2.7.6 for win10
12-11
在本案例中，我们关注的是"Hadoop-2.7.6 for Win10"版本，这是一个专为Windows 10操作系统优化的Hadoop环境。这个压缩包包含了在Windows上运行Hadoop所需的关键组件。 1. **Winutils.exe**: 这是Hadoop在Windows...
集成USB3.0驱动至Win2008安装U盘
02-13
根据提供的文件信息，我们能够...这个过程的主要目的是为了确保在使用U盘安装Windows Server 2008系统时，能够顺利加载USB3.0设备的驱动，从而利用USB3.0带来的高速传输性能，特别是在安装过程中需要大量数据传输时。
win10 下spark2.2.0+hadoop2.7.7+winutis 2
03-26
Windows上配置Python+Spark开发环境https://blog.csdn.net/qq_33283652/article/details/88790390
FileZilla_3.60.1_win64-setup
07-20
用户需要运行这个文件来安装FileZilla客户端，安装过程中通常会提示用户选择安装路径、是否创建桌面快捷方式等选项。安装完成后，用户可以通过双击桌面上的快捷方式启动FileZilla，然后设置服务器的连接参数（如主机...
hadoop2.6，window7 64bit，hadoop.dll、winutils.exe文件下载
11-01
它们共同构成了一个在Windows环境中进行大数据工作流程的基础。 在实践中，你可能需要下载和配置这些文件来建立一个本地Hadoop开发环境，以便于测试、学习或者开发Spark应用。同时，理解这些文件的作用以及如何在...
大数据时代--windows下spark的安装与配置教程
热门推荐
Silence-wen
10-19 3万+
Spark作为一个基于内存的开源计算框架，在这个大数据时代背景下，受到越来越多的开发者的喜爱，相对于Hadoop,Spark拥有对大量数据更快的处理速度，并且易于使用（支持多种开发语言）。比Hadoop具有更多的优点，怎能不让人想去尝试一下Spark的魅力呢？ 了解Spark的都知道Spark是用Scala写的，那么要想在windows下来运行Spark少不了的就要先安装Scala。 首先的在一个
win10 掿建python spark开发环境.和安装hadoop环境
luckysjj的专栏
06-07 1498
先说下困绕我的两个问题好了  windows 下运行spark-shell  始终不行，什么鬼 找到原因拉 在spark-class2.cmd 中 把这句话的环境改下就能跑了 我就想在python中愉快的调试spark程序拉 set LAUNCHER_OUTPUT=%Temp%\spark-class-launcher-output-%RANDOM%.txt
win10 + scala+ spark+hadoop 环境配置走过的坑
casgj16的博客
12-22 730
配置走过的坑，留下有用的链接：   win10安装spark流程:  https://blog.csdn.net/NJYR21/article/details/80291630 Hadoop 2.7.1 windows工具：https://www.jianshu.com/p/ad14d310df3b                                              ...
win10下安装Spark3.0和Hadoop3.1.3
努力奔赴未来
05-24 2941
1、spark win10安装 （1）解压文件到无空格的安装目录，安装到的目录为D:\Enviroment\Spark\spark-3.0.0-bin-hadoop3.2 （2）添加环境变量 SPARK_HOME ：D:\Enviroment\Spark\spark-3.0.0-bin-hadoop3.2 %SPARK_HOME%\bin %SPARK_HOME%\sbin （3）测试 cmd下输入spark-shell 2、Hadoop win10下安装 本安装用的是Linux下的hado
Win10下安装大数据开发环境 spark+hadoop+hive（实测可用）
u012280876的博客
09-24 4171
Win10下安装大数据开发环境 spark+hadoop+hive（实测可用）基础环境安装 基础环境安装 首先，我们需要搭建软件的运行环境，本文中所使用的软件均需要运行在Java环境之上，所以在您的电脑中安装JDK，并设置好环境变量，参考链接：传送门 。（ 作者已将相关软件上传网盘：点击下载 提取码：8cmm ） 注意事项： JDK版本建议1.8，1.9会报错 所有软件的安装路径不能存在空...
win10安装spark
最新发布
05-28
首先，你需要下载和安装Java运行环境(JRE)或Java开发工具包(JDK)。然后，你需要下载Apache Spark二进制文件并解压缩到你的计算机上。在解压缩后，你需要配置环境变量SPARK_HOME和PATH。 下面是一个大致的步骤： 1. 下载和安装Java运行环境(JRE)或Java开发工具包(JDK)，确保Java已添加到系统环境变量中。 2. 下载Apache Spark二进制文件并解压缩到你的计算机上。 3. 配置环境变量，将SPARK_HOME设置为Spark的安装路径，并将%SPARK_HOME%\bin添加到PATH环境变量中。 4. 启动Spark，通过运行spark-shell或spark-submit命令来验证Spark是否正确安装。 5. 如果你想在Windows上使用Hadoop分布式文件系统(HDFS)或YARN资源管理器，你还需要安装Hadoop并配置相关环境变量。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值