2.Spark Windows环境安装

最新推荐文章于 2024-01-14 17:30:24 发布
最新推荐文章于 2024-01-14 17:30:24 发布
阅读量622 收藏
点赞数
分类专栏： Spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_45097792/article/details/125281033
版权

目录：

1.下载安装包

2.将安装包解压到无中文无空格的本地目录当中

在这里插入图片描述

3.找到bin目录，双击目录中spark-shell.cmd文件启动spark

在这里插入图片描述
启动成功如下：
在这里插入图片描述

4.测试本地环境

1、在bin目录当中创建一个datas目录，添加一个1.txt文档，文档内容如下： 在这里插入图片描述
2、准备好数据之后，我们通过命令行工具读取这个文件
在这里插入图片描述

_胡杨_
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
pycharm windows spark 环境的安装
10-19
在windows下配置spark环境，并读取hdfs文件，anconda spark pycharm
Spark在Windows下的环境搭建方法
10-16
主要介绍了Spark在Windows下的环境搭建方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Windows环境下安装Spark并运行WordCount例子
actionbean的博客
11-09 6845
Windows环境下安装Spark并运行WordCount例子一、Windows下安装Spark1、提前安装Java JDK2、提前安装Scala3、安装Spark4、安装Hadoop5、下载winutils（winutils.exe是在window系统上安装hadoop时所需要的winutils文件）6、运行spark-shell二、运行WordCount例子1、新建Project2、新建Scala Class3、导入Spark程序依赖的jar包4、编写WordCount代码 一、Windows下安装Sp
spark在windows安装
YouAreLion的博客
12-28 2797
spark在windows安装
spark踩坑记——windows环境下spark安装和运行
热门推荐
蚂蚁搬家
08-10 5万+
本文主要记录windows系统上安装spark，scala，和intelj IDEA，并实现本地spark运行。同时介绍了利用maven构建工具对spark工程构建的方法。本地运行需要本地安装scala，spark，hadoop。而如果利用maven构建工具则只需要再maven的pom.xml配置好需要的scala，spark，hadoop版本信息，构建时自动导入相应依赖，常用于企业级的项目开发中......
windows系统pyspark安装、测试
最新发布
luxika23的博客
01-14 748
4.将spark文件夹下的pyspark文件复制（我的路径D:\SPARK-HADOOP-WINUTILS\hadoop\spark-3.3.4-bin-hadoop3\python\pyspark）6.安装py4j（直接终端pip，我没有用conda，用conda的可以再找找）ps：如果上面第5步路径找不到，也可以先安装py4j然后找py4j的目录，然后复制过去也行。在相同的迭代次数下使用spark的粒子群计算耗时没有增加，但是求解结果分布更紧密，解集质量更高。2.下载hadoop安装包（清华镜像）
windows中安装Spark
蓝色格子ren的博客
07-27 6223
由于Spark是基于Scala编写的，而Scala又是依赖于Java，所以需要你先安装Scala以及JDK。有时我们需要依赖HDFS去取数据或者使用YARN集群部署，所以需要一般也需要安装Hadoop。安装JDK以及安装Sacla这里不做介绍。 1.下载Spark包 进入Spark的下载页面，选择需要下载的tgz文件。 2.下载Hadoop包 下载Spark时，我们选择的是Hadoop 2.7，所以我们进入Apache Hadoop下载页中下载对应版本的tar.gz文件 3. 安装Spark 解压下载后
Windows下配置IDEA的Spark的开发环境
01-20
Windows下配置IDEA的Spark的开发环境 下载Spark-hadoop的文件包，spark-2.4.5-bin-hadoop2.7，官网进行下载http://spark.apache.org/downloads.html IDEA下载Scala语言的开发插件，进行安装重启； 下载scala的包并...
Windows下安装spark-hadoop步骤
01-20
本章将介绍如何在Windows下实现spark环境搭建。 本章概要 1、版本说明 2、环境准备： jdk配置； spark安装与配置； hadoop安装与配置； IDEA的安装与配置 版本说明 jdk：1.8 spark：2.4.5 hadoop：2.7.1 我把的...
大数据实验报告Windows环境下安装Spark及RDD编程和Spark编程实现wordcount.doc
12-15
大数据实验报告 Windows 环境下安装 Spark 及 RDD 编程和 Spark 编程实现 wordcount 本实验报告主要介绍了在 Windows 环境下安装 Spark 及 RDD 编程和 Spark 编程实现 wordcount 的步骤和过程。实验中首先安装了 ...
Windows安装Spark 需要用到的包
07-02
直接解压 把bin目录内容拷贝到Hadoop的bin目录下 全部替换覆盖就行了
Install_Spark_on_Windows10.pdf
06-12
Install_Spark_on_Windows10.pdf 介绍在windows 10上面 不熟 spark的方法，经典
window下spark的安装和开发环境配置
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
03-03 6930
全栈工程师开发手册 （作者：栾鹏） python数据挖掘系列教程 由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。安装java安装oracle下的jdk，我安装的是jdk 1.8的64位，这里必须安装64
apache spark在windows7 下安装
大数据食铁兽的专栏
04-25 1万+
1、下载spark  解压到 D盘，现在的版本是0.9.1 2、下载scala   安装到d:\Program Files (x86)\scala\     安装好scala后需要配置环境变量    修改path这个变量，把Scala的bin目录也放进去D:\Program Files (x86)\scala\bin（现在版本的scala会自动修改系统的环境变量，提示的时候选择不阻止）
填坑—— Spark在Windows下的环境搭建
Rayfan
05-15 979
Spark在Windows下的环境搭建该博客中提到一点：安装路径及存放路径的文件夹名字中，不要出现空格。我再补充一点：Java版本要是旧的版本，如jdk-8u172。最新版本jdk-10.0.1_windows-x64_bin不可以，会出错。温馨提示：看教程注意看教程发布的时间。...
window环境下安装spark
jhr112的博客
03-25 3288
spark是大数据计算引擎，拥有Spark SQL、Spark Streaming、MLlib和GraphX四个模块。并且spark有R、python的调用接口，在R中可以用SparkR包操作spark，在python中可以使用pyspark模块操作spark。本文介绍spark在window环境下的安装。 0 环境 先给出安装好后的各个软件版本: win10 64bit java 1.8.0 scala 2.12.8 hadoop 2.7.1 spark 2.4.1 1 java安装 下载 spa.
Spark在Win10下的环境搭建
海锋博客
03-08 3万+
前言本章将介绍如何在WIN10下实现spark环境搭建。本章概要1、版本说明2、环境准备：jdk配置；scala安装与配置；spark安装与配置；hadoop安装与配置；版本说明jdk：1.8scala：2.11.8spark：2.3.0hadoop：2.8.3环境准备jdk配置1、配置JAVA_HOME与Path：Path2、验证配置：scala安装与配置1、scala下载：访问官方地址http...
在 Windows 上安装Spark(PySpark库)(无需安装 Hadoop )
m0_37937917的博客
07-22 1万+
1.需要预装 Anaconda ，推荐从清华镜像下载符合你机器配置的最新版。 2.确保你的电脑已经安装好了 Java 7+ 。对了，Java 安装路径中不能有空格！路径中不能有空格！ 3.访问 Apache Spark 网站，下载 Apache Spark： 1. 选择一个 Spark 版本 (Choose a Spark release) 2. 选择软件包类型 (Choose a...
pyspark本地模式安装(Windows10)
weixin_37831273的博客
05-16 1980
1.首先来看Windows版本怎么安装 1.1 安装JDK,比如D:\jdk 1.2 下载预编译好的Spark 版本,这里我们选Spark2.2 1.3 解压缩Spark程序，然后将目录中内容拷贝到例如C:\spark,你的spark目录中现在应该有C:\spark\bin,C:\spark\conf等子目录了 1.4 下载合适版本的winutils.exe,将该文件放到C:\winutils\b...
在windows环境下安装spark
03-16
在Windows环境下安装Spark，可以按照以下步骤进行： 1. 下载Spark安装包：从官网下载Spark的二进制包，选择对应的版本和操作系统。 2. 安装Java：Spark需要Java环境支持，因此需要先安装Java。 3. 解压Spark...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

_胡杨_

感谢打赏，会多多更新的。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值