Spark在win10上的环境部署

最新推荐文章于 2022-12-07 12:13:57 发布
最新推荐文章于 2022-12-07 12:13:57 发布
阅读量364 收藏
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CSDN_SUSAN/article/details/98943845
版权

文章目录

1.安装JDK 1.8，并配置环境变量

2.下载安装spark，并配置环境变量

如图执行spark-shell，可以测试安装情况。

3.下载安装hadoop，配置环境变量。

再次打开cmd，执行spark-shell。如图

4. pip install findspark

5. conda install pyspark

6. python 3.6

7. jupyter notebook

8. 执行测试ok

csdn_SUSAN
关注
Spark学习:Win10中编译Spark源码
nzbing的博客
05-08 1227
编译Spark源码一、环境准备二、编译三、IDE导入执行SparkPi.scala 一、环境准备 1、JDK1.8 2、scala 2.12.15 3、maven 3.8.5 3、Spark3.2.1 spark官网下载最新的sourcecode 二、编译 1、打开源码父pom.xml修改scala/maven/java对应版本 2、在cmd/powershell移动到源码目录中父pom.xml所在目录 mvn -DskipTests clean package //使用mvn跳过单元测试编译
win10家庭版安装docker并搭建完全分布式hadoop集群、spark集群
qq_43034505的博客
11-23 1543
docker在windows10的专业版和家庭版上的安装方法有很大的不同，本文是基于win10家庭版进行的安装。 一、docker的安装 1、查看系统版本 右击“此电脑”→“属性”，确认是家庭版win10。 2、下载DockerToolbox 进入下载地址，点击下载DockerToolbox-18.03.0-ce.exe 3、安装 双击exe文件，按照默认选项进行安装即可，结束后出现下图的三个应用。 打开 Docker Quickstart Termina.
win10安装spark流程
NJYR21的博客
05-12 4835
win10安装spark流程说明安装步骤分为java，scala，spark和hadoop四步，以下是对我整个安装过程的记录。一、安装JDK官网下载了8u172版本。点击打开链接安装完毕以后，添加环境变量JAVA_HOME、增加环境变量path路径。打开cmd键入java -version，看到如下界面说明java安装成功。二、安装scala官网下载了msi格式，并安装成功。点击打开链接增加pat...
win10 搭建spark环境
qq_34909144的博客
10-12 186
烦死，搞完发现没了 又要来一次 本文介绍win10中搭建spark环境并与anaconda结合 下载Anaconda、python并安装（默认安装） 测试命令行cmd使用ipython是否正常，若正常转4，否咋转3 使用pip安装：pip install ipython pip install notebook 安装jdk并配置环境，参见Win10使用java环境_RookieZW的博客-CSDN博客 安装配置spark 下载地址Downloads | Apache S...
win10中spark环境的配置
vasonyang随记
12-18 1018
使用的软件版本： jdk使用的1.8 winutils 为从 这里： https://github.com/steveloughran/winutils 下载的相应版本的 1、先配置JDK环境，在环境变量中配置好 JAVA_HOME，CLASSPATH，PATH中添加上%JAVA_HOME%\bin，%JAVA_HOME%\jre\bin，需要注意的是，jdk的路径中不要出现空格，否...
Spark Windows10 安装
BlueProtocolBlog
12-07 1969
在我们安装Spark之前，由于Spark基于Scala的，所以我们需要先安装Scala。  ，这里先说明一下Spark与Scala版本之间的问题，在Spark的官网中有这样一句话：Note that Spark 3 is pre-built with Scala 2.12 in general and Spark 3.2+ provides additional pre-built distribution with Scala 2.13.   这个看一下就懂了，如果我们安装Spark3版本的我们需要先安装
Win 10 安装Spark
andy.cao的博客
05-05 442
windows 10 安装hadoop，使用spark 报错 null\bin\winutils.exe
win10下搭建Hadoop环境（jdk+mysql+hadoop+scala+hive+spark） 3.docx
09-17
在Windows 10环境下搭建Hadoop生态系统，包括JDK、MySQL、Hadoop、Scala、Hive和Spark等组件，是一项繁琐但重要的任务，这将为你提供一个基础的大数据处理平台。下面将详细介绍每个组件的安装与配置过程。 **1. JDK...
spark-单机部署（三）
weixin_45025143的博客
11-18 2318
Spark的windows、linux单机部署 1、windows单机部署   相信大多数同学用的都是windows系统，没错，我也是windows系统，主要是因为公司电脑安装了深信服的办公软件，但是这个不支持linux系统，所有我们公司都强制被使用win10。为了调试方便，还是习惯在电脑上装上单机Spark，好在Spark也支持win10。 废话不多说，我们开始哈。。。 1.1、安装Java环境   这里我们安装Java8，哎，这会是不是有同学问了现在Java15都有了我们为啥还用Java8了？❓❓❓
基于Qt的文件网络传输项目,服务器运行在linux,客户端运行在win10系统.zip
最新发布
07-31
该项目是基于Qt库实现的文件网络传输应用，服务器部分运行在Linux操作系统上，而客户端则在Windows 10系统上运行。Qt是一个跨平台的C++应用程序开发框架，广泛用于创建图形用户界面和其他应用程序。其丰富的功能和多...
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
windows10下spark2.3.0本地开发环境搭建 win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本： win10 家庭装，64位，x86处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-2.11.8 Maven-3.5.3 ideaIC-2018.1.4.exe spark-2.3.0-bin-hadoop2.7 对应博文：https://blog.csdn.net/hambition/article/details/80769771 由于博文上传图片比较麻烦，图片又非常之多，没分的同学可直接看博文。
win10 下spark2.2.0+hadoop2.7.7+winutis 1
03-26
win10下 python+spark开发环境配置教程https://blog.csdn.net/qq_33283652/article/details/88790390
window10搭建pyspark（基于spark-3.0.0-bin-hadoop2）.docx
09-04
window10搭建pyspark的两种方法（基于spark-3.0.0-bin-hadoop2） 方法一： 最最简便的方法就是直接pip install pyspark 如果安装出现timeout，可以下载pyspark-3.0.0.tar，然后离线安装 方法：cd进入pyspark-3.0.0.tar解压的目录，里面有个setup.py 然后运行命令：python setup.py install, 等待安装完成，所以的环境问题都一次帮你解决完。
window10安装spark
GGBond的博客
08-12 2862
1.下载并安装JDK 点击下一步 选择安装地址,选择完直接下一步 点击完成 点击下一步 出现下面的界面 安装完成后跳出下面的界面,点击关闭 2.配置环境变量 右键计算机属性→高级系统设置→高级里的环境变量→系统变量里的Path→点击编辑→点击新建→浏览→找到下载的java文件,找到2个bin文件,点击确定 配置完成后的效果如下图 打开cmd窗口,输入 java -version ...
Windows10虚拟机上的spark环境搭建
云南省高校数据化运营管理工程研究中心的博客
10-27 1238
（ps:*需要各种安装包的可以把邮箱留下哦*）1、虚拟机搭建我是按照这个教程来安装VMware的： http://jingyan.baidu.com/article/215817f78879c21edb142379.html 以上方法安装以后需要产品密钥，在此贡献出小伙伴的密钥： VF58R-28D9P-0882Z-5GX7G-NPUTF2、VM安装centOS虚拟机的教程我是按照下面这个教程
Spark 2.4.4在Windows 10安装并运行
astra_zhao的专栏
10-11 1111
1.首先到http://spark.apache.org/downloads.html下载spark-2.4.4-bin-hadoop22.7.tgz版本 2.然后下载scala的windows版本 下载scala-2.13.1.zip版本，下载完后，设置SCALA_HOME，并在path目录下加入%SCALA_HOME%\bin 3.下载https://github.com/s...
Scala101-JupyterNoteBook环境配置win
此心安处是吾乡
12-06 464
notebook配置scala环境
在集群上运行Spark应用的详细过程
weixin_30462049的博客
07-04 686
在集群上运行Spark应用的详细过程： （1）用户通过spark-submit脚本提交应用 （2）spark-submit脚本启动驱动器程序，调用用户定义的main()方法 （3）驱动器程序与集群管理器通信，申请资源以启动执行器节点 （4）集群管理器为驱动器程序启动执行器节点 （5）驱动器进程执行用户应用中的操作。根据程序中所定义的对RDD的转换操作和行动操作，驱动器节点把动作以任务的形...
spark入门第1课--本地win10搭建spark环境（单机运行spark）
qq_31466841的博客
01-01 506
一、java环境安装 1、去官网下载jdk，jdk下载链接 2、下载完毕直接安装 3、安装完毕，配置环境变量 4、测试，在cmd命令符下输入：java -version，出现下图即为成功 二、scala环境安装 1、去官网下载scala，scala下载链接，注意进入官网，滚动条往下拉，找到自己要下载的版本包 2、下载完毕直接安装，安装过程会自动添加环境变量，如果没有添加，手动添加即可 3...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值