本地windows搭建spark环境，安装与详细配置(jdk安装与配置,scala安装与配置,hadoop安装与配置,spark安装与配置)

最新推荐文章于 2024-06-15 01:11:02 发布
最新推荐文章于 2024-06-15 01:11:02 发布
阅读量1.1k 收藏 5
点赞数 2
分类专栏： 学习 文章标签： spark scala jdk hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Lq_520/article/details/85323058
版权
本文详述了在Windows上搭建Spark环境的过程，包括JDK、Hadoop、Scala和Spark的下载、安装及配置步骤。特别强调了环境变量设置中的注意事项，如逗号的使用，以及winutils.exe和hadoop.dll的缺失问题及其解决方案。此外，还提到pyspark运行时可能出现的版本不兼容问题，并给出了解决建议。
摘要由CSDN通过智能技术生成

本地搭建spark环境，安装与详细配置

文章目录

安装包下载地址：

JDK: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

Hadoop2.6.5：http://archive.apache.org/dist/hadoop/common/hadoop-2.6.5/

Scala2.11.8：https://www.scala-lang.org/download/all.html

Spark2.2.0：http://archive.apache.org/dist/spark/spark-2.2.0/

  1. jdk安装与配置

    点开jdk安装下载地址，下载windows版本即可，进行安装。安装后将安装路径添加至环境变量中，具体操作如下图。

最低0.47元/天 解锁文章
luqin_
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
JDK环境搭建以及Spark安装（单机）
qq_45068404的博客
03-09 1080
Spark是目前除了Hadoop之外运用最广泛的大数据平台，与Hadoop相比，Spark分析效率更高，更加适用于实时分析。 安装Spark（单机） 注意：在安装spark之前要先搭建将Java环境，java环境搭建在后面（之前已经搭建好的直接安装就行） （这里用到的Spark版本为spark-2.4.3-bin-hadoop2.7），这里的hadoop指的是这个Spark平台与hadoop平台的...
【Spark】Windows下安装Spark（亲测成功安装）
tttzzzqqq2018的博客
08-02 1万+
安装Spark之前，需要安装JDK、Hadoop、Scala。显示上面的正常运行界面，表示本地的spark环境已搭建完成！环境变量Path添加条目%SCALA_HOME%\bin。为了验证Scala是否安装成功，开启一个新的cmd窗口。环境变量Path添加条目%SPARK_HOME%\bin。为了验证Spark是否安装成功，开启一个新的cmd窗口。设置环境变量 %SCALA_HOME%设置环境变量 %SPARK_HOME%本地点击msi文件安装，安装目录为。可以看到Scala安装成功。安装方法就不赘述了。
【Scala入门】Scala安装与环境配置：快速搭建你的开发环境
weixin_52938153的博客
06-15 1158
在开始使用 Scala 进行大数据开发之前，我们需要先安装 Scala 并配置好开发环境。本文将详细介绍如何在不同操作系统（Windows、macOS 和 Linux）上安装 Scala，并配置必要的开发工具，如 IntelliJ IDEA 和 sbt（Scala 构建工具）。通过本文的指导，你将能够快速搭建一个高效的 Scala 开发环境。
在Windows下的配置Spark环境
weixin_44166997的博客
08-14 157
主要是需要安装四部分， 1·JDK的安装 2·Scala的安装 3·Spark的安装 4·Hadoop的安装 具体步骤 可参考博客Spark在Windows下的环境搭建
windows配置spark开发环境
chaney的博客
04-15 1612
本文详细介绍了基于IDEA如何做windows10操作系统上配置spark、scala程序的开发环境。
spark环境搭建window篇
weixin_43626356的博客
11-01 1806
Win10安装Spark
Linux 之 Spark 环境部署笔记——JDK安装
octdream的专栏
05-28 317
一、jdk安装 1.下载JDK8 https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html 2.安装 1）将jdk包复制到redhat中 2）解压 tar zxvf jdk-8u181-linux-x64.tar.gz 3）设置环境变量 sudo vi /etc/profile 在文件末尾添加环境变量： export JAVA_HOME=/home/huaru/jdk/jdk1.8.0_25
第2集-Hadoop环境搭建 - linux（centos7） - 安装配置jdk1.8.pdf
09-17
在安装和配置 JDK 之后，我们可以开始搭建 Hadoop 环境，包括安装 Hadoop、Scala、Hive、HBase 和 Spark 等组件。这些组件都是大数据处理的重要工具，可以帮助我们更好地处理和分析数据。 本文档详细介绍了在 ...
centOS7下Spark安装配置教程详解
09-15
首先，我们需要确保我们的环境满足Spark的运行需求，包括Java Development Kit (JDK) 和Scala的安装。 1. **安装JDK**： 安装JDK是运行Spark的前提，因为Spark是用Java编写的，并且依赖JVM。在CentOS7上，你可以...
Hadoop 和 Spark 的安装、环境配置、使用教程以及一个分布式机器学习项目示例.docx
最新发布
07-14
通过以上步骤，不仅可以成功地安装和配置Hadoop与Spark，还能了解如何使用这些工具处理大数据并进行分布式机器学习任务。这些基础知识对于初学者来说至关重要，同时也是深入学习大数据处理技术的基础。
第5集-Hadoop环境搭建 - linux（centos7） - 安装配置scala2.11.8.pdf
09-17
在 CentOS7 环境下搭建 Hadoop 环境需要安装多个组件，包括 JDK、Hadoop、Scala、HBase、MySQL、Hive、Spark 等。这些组件的安装和配置都是 Hadoop 环境搭建的关键步骤。 2. Scala 安装配置 Scala 是一种函数式...
【Spark开发必备技能】3-1-运行环境配置-JDK安装
Spark技术咖的博客
07-18 948
目录 1、Windows JDK安装     1.1 下载JDK-1.8         1.2 双击安装     1.3 环境变量配置      1.4 验证结果 2、Mac JDK安装     2.1 下载JDK-1.8         2.2 双击开始安装     2.3 JDK安装目录查看     2.4 结果验证 3、Windows Hadoop环境配置     ...
Windows单机jdk + scala + spark + hadoop + pycharm开发环境的搭建
计算机动物的博客
02-23 862
安装步骤 折腾好久，主要是网上教程太散了有的地方还没说全 版本 jdk 1.8 scala 2.10.7 spark 1.6.0（依赖hadoop 2.6） hadoop 2.6.5 spark 1.6还是比较稳定好用的，下载链接自己找 放一下hadoop相关的链接吧链接: https://pan.baidu.com/s/1IU0GDJtvo70rwm7srRmr9A 提取码: 9c68 这是不...
Spark安装与配置
qq_51048727的博客
01-23 582
Spark安装与配置环境下载安装配置启动Spark的交互式界面 环境 操作系统：Centos 7 Hadoop版本：2.9.2 JDK版本：1.8.0_221 Spark版本：2.4.7 集群规划： 主机名 IP master 192.168.1.121 slave1 192.168.1.122 slave2 192.168.1.123 下载 下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.7/
windows下搭建hadoop/spark环境常见问题
qq_31806205的博客
04-04 1080
1。Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 解决方法： 下载个hadoop2.6-common-bin.zip，然后解压 添加环境变量： HADOOP_HOME=D:\hadoop-win\hadoop-common-2.6.0-bin PATH里面添加这个：%HADOOP_HOM...
Scala安装教程（最详细教程）
热门推荐
Andy86666的博客
11-26 3万+
Scala安装教程 我们分别在Windows和ubuntu上安装Scala，但是在安装Scala之前有个前提是都要提前安装好JDK1.8以上的。 如果没有安装请看Windows安装JDK和ubuntu安装JDK。 一、Windows安装Scala （一）、先下载Scala （二）、把下载的文件移动到想要安装的目录里，并解压文件。 （三）、搭建环境变量 1、把解压文件中的bin目录的路径复制下来 ...
scala 安装和创建项目
悟世君子的博客
01-08 2026
Scala，一种可随您扩展的编程语言：从小型脚本到大型多平台应用程序。Scala不是Java的扩展，但它完全可以与Java互操作。在编译时，Scala文件将转换为Java字节码并在JVM（Java虚拟机）上运行。Scala被设计成面向对象和函数式的。它是一种纯粹的面向对象语言。scala的名字来源于单词scalable，意思是它可以随着用户的需求而增长。
Scala 的安装教程
samLi0620的博客
11-12 1133
Scala 的安装教程
Spark集群安装教程：Centos升级JDK，Scala与Spark配置
"本章节主要介绍了如何在CentOS系统中安装和配置Spark集群，包括升级JDK到1.8、安装Scala以及安装Spark的详细步骤。" 在构建Spark集群之前，首先要确保所有的基础环境已经准备就绪。其中，JDK是Spark运行的基础，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值