Spark在Win10下的环境搭建

最新推荐文章于 2024-07-31 13:16:03 发布
最新推荐文章于 2024-07-31 13:16:03 发布
阅读量3.9w 收藏 113
点赞数 36
分类专栏： spark 文章标签： windows spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/songhaifengshuaige/article/details/79480491
版权
前言
本章将介绍如何在WIN10下实现spark环境搭建。

本章概要
1、版本说明
2、环境准备：
  • jdk配置；
  • scala安装与配置；
  • spark安装与配置；
  • hadoop安装与配置；

版本说明
jdk：1.8
scala：2.11.8
spark：2.3.0
hadoop：2.8.3

最低0.47元/天 解锁文章
帅天下
关注
专栏目录
win10安装spark流程
NJYR21的博客
05-12 4837
win10安装spark流程说明安装步骤分为java，scala，spark和hadoop四步，以下是对我整个安装过程的记录。一、安装JDK官网下载了8u172版本。点击打开链接安装完毕以后，添加环境变量JAVA_HOME、增加环境变量path路径。打开cmd键入java -version，看到如下界面说明java安装成功。二、安装scala官网下载了msi格式，并安装成功。点击打开链接增加pat...
windows下spark环境搭建
xoxo的博客
07-22 1095
1、首先下载所需要的安装包 分别是 scala-2.11.11 ，hadoop2.7,spark-2.3.1、winutls工具类 链接：https://pan.baidu.com/s/1Tv-N7lQUd2T24HncwSZ5Ag 密码：z9ex 2、先安装scala   直接运行安装包即可，自动配置环境变量 3、配置spark 直接解压即可 配置spark环境变量 在...
windows10下搭建spark平台
Together_CZ的博客
08-02 3123
    今天早上忙完了手里现有的工作后，打算把spark装一下，其实之前读研的时候也安装过，不过后来重装系统了就清除掉了，今天再次安装一下。     首先说一下安装spark必备的一些基础： 1. jdk配置网上很多，就不多说了 2. scala的安装，这个要注意的就是跟jdk的版本匹配，我之前在这里就折腾了挺多的时间的，因为安装了最新的scala导致与jdk版本不匹配，scala自然也无法...
大数据知识总结（七）：Spark重要知识汇总
最新发布
Lansonli（蓝深李）的博客
07-31 2454
Spark Core（实现了 Spark 的基本功能，包含RDD、任务调度、内存管理、错误恢复、与存储系统交互等模块。数据结构：RDD）Spark SQL（可以使用 SQL操作数据。数据结构：Dataset/DataFrame = RDD + Schema）（用来操作数据流的 API。数据结构：DStream = Seq[RDD]）（提供常见的机器学习(ML)功能的程序库。包括分类、回归、聚类、协同过滤等，还提供了模型评估、数据导入等额外的支持功能。数据结构：RDD或者DataFrame）
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
windows10下spark2.3.0本地开发环境搭建 win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本： win10 家庭装，64位，x86处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-2.11.8 Maven-3.5.3 ideaIC-2018.1.4.exe spark-2.3.0-bin-hadoop2.7 对应博文：https://blog.csdn.net/hambition/article/details/80769771 由于博文上传图片比较麻烦，图片又非常之多，没分的同学可直接看博文。
spark学习10（win下利用Intellij IDEA搭建spark开发环境）
weixin_33911824的博客
02-02 151
第一步：启动IntelliJ IDEA，选择Create New Project，然后选择Scala，点击下一步，输入项目名称wujiadong.spark继续下一步 第二步：导入spark-assembly-1.5.1-hadoop2.6.0.jar包 File——Project Structure——Libraries——点+号——点java——选择下载好的spark-asse...
Win10系统搭建Spark环境
slx_share的博客
04-18 508
在Win10系统下搭建Spark环境，有助于初学者学习开发及调试Spark应用。 软件包准备 不同版本Spark与PySpark存在不兼容的情况，以下版本经本人测试是可行的。 spark-2.3.3-bin-hadoop2.7 hadoop-2.7.7 winutils java1.8 scala-2.12.8 安装 java及scala的安装就不用讲了，记得设置环境变量就行 解压spark...
spark win10安装个人总结
weixin_44133327的博客
03-31 202
本次安装spark hadoop主要参考这个链接 https://blog.csdn.net/songhaifengshuaige/article/details/79480491 pyspark的安装 https://mp.weixin.qq.com/s/6Fo7mq2lSjiKiMw0Nj00Rg
window10安装spark
GGBond的博客
08-12 2865
1.下载并安装JDK 点击下一步 选择安装地址,选择完直接下一步 点击完成 点击下一步 出现下面的界面 安装完成后跳出下面的界面,点击关闭 2.配置环境变量 右键计算机属性→高级系统设置→高级里的环境变量→系统变量里的Path→点击编辑→点击新建→浏览→找到下载的java文件,找到2个bin文件,点击确定 配置完成后的效果如下图 打开cmd窗口,输入 java -version ...
win10下搭建Hadoop环境（jdk+mysql+hadoop+scala+hive+spark） 3.docx
09-17
在Windows 10环境下搭建Hadoop生态系统，包括JDK、MySQL、Hadoop、Scala、Hive和Spark等组件，是一项繁琐但重要的任务，这将为你提供一个基础的大数据处理平台。下面将详细介绍每个组件的安装与配置过程。 **1. JDK...
win10下的Spark本地idea环境搭建教程.docx
04-02
【Spark本地开发环境搭建】 在Windows 10操作系统中，要进行Spark的本地开发和调试，首先需要确保安装了必要的软件环境，包括OpenJDK、Scala、Hadoop以及IntelliJ IDEA（简称IDEA）。以下是详细的步骤： 1. **安装...
Spark在Windows下的环境搭建
热门推荐
大气人生
10-19 13万+
由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。为了突出”From Scratch”的特点（都是标题没选好的缘故），所以下面的步骤稍显有些啰嗦，老司机大可不必阅读，直接跳过就好。
spark ui的访问地址_如何在win10系统上编译spark
weixin_30260191的博客
12-20 133
为了学习spark和修改源码，最近尝试在windows电脑上编译spark，躺了不少坑，过程如下：1、下载源码，下载地址在apache社区和github都有，推荐在github下载，我使用的是spark2.4.6版本。https://github.com/apache/spark​github.com2、下载和安装maven环境Maven - Download Apache Maven​maven...
windonws下spark的安装(最新安装)
m0_57382185的博客
10-30 5927
spark超详细安装步骤 （1） 针对于不可写问题，只要它下面已经说明已经安装或安装成功便可忽略； （2） 对于没有“py4j”库的问题，通过pip install py4j==0.10.9.5 即可添加。
windows配置spark开发环境
chaney的博客
04-15 1783
本文详细介绍了基于IDEA如何做windows10操作系统上配置spark、scala程序的开发环境。
spark环境搭建window篇
weixin_43626356的博客
11-01 1827
Win10安装Spark
windows安装spark
weixin_41046245的博客
06-17 526
在 Windows 上安装 Spark 并进行配置需要一些步骤，包括安装必要的软件和配置环境变量。
spark踩坑记——windows环境下spark安装和运行
蚂蚁搬家
08-10 5万+
本文主要记录windows系统上安装spark，scala，和intelj IDEA，并实现本地spark运行。同时介绍了利用maven构建工具对spark工程构建的方法。本地运行需要本地安装scala，spark，hadoop。而如果利用maven构建工具则只需要再maven的pom.xml配置好需要的scala，spark，hadoop版本信息，构建时自动导入相应依赖，常用于企业级的项目开发中......
评论 31
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值