windows下spark环境的搭建

最新推荐文章于 2023-03-14 14:48:47 发布
最新推荐文章于 2023-03-14 14:48:47 发布
阅读量115 收藏
点赞数
分类专栏： 工具 文章标签： spark jar JDK hadoop scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33036613/article/details/90051501
版权

windows下spark环境的搭建
1.下载JDK
JDK
安装 E:\advancedos\JDK
配置环境： 添加E:\advancedos\JDK\bin至系统变量和环境变量中
验证：java -version

2.下载scala
scala
直接安装，默认添加至环境变量中

3.下载spark
spark
解压，添加至环境变量中
将spark文件夹取消只读，并在安全中设置为完全控制

4.下载hadoop2.7
hadoop

python文件转为jar

jythonc -a -C “E:\advancedos\JDK\bin\javac.exe” -jar test.jar test.py
E:\advancedos\JDK\bin\javac.exe中间为jdk中kavac.exe的目录
test.jar为目标jar
test.py为源代码

Stupid-Tyro
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark的环境配置
lookqinghuaci的博客
06-17 2908
进入spark配置目录后，执行命令：cp spark-env.sh.template spark-env.sh与vim spark-env.sh export JAVA_HOME=/usr/local/jdk1.8.0_162 export SPARK_MASTER_HOST=master export SPARK_MASTER_PORT=7077 JAVA_HOME：指定JAVA_HOME的路径。若集群中每个节点在/etc/profile文件中都配置了JAVA_HOME，则该选项可以省略，Spark集群启
windows下spark环境搭建
yiguagua的博客
01-05 264
在windows下spark的环境搭建步骤如下： 下载 jdk-8u131-windows-x64.exe。若安装路径为E:\Java\，则增加如下的环境变量： JAVA_HOME=E:\Java\jdk1.8.0_131 CLASSPATH=.;%JAVA_HOME%\lib\tools.jar;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\bin; PATH中增加%J...
二、Spark在Windows下的环境搭建
weixin_33898233的博客
03-26 3340
由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。为了突出”From Scratch”的特点（都是标题没选好的缘故），所以下面的步骤稍显有些啰嗦，老司机大可不必阅读，直接跳过就好。 　　 一．JDK的安装与环境变...
Spark在Windows下的环境搭建
newbei5862的博客
07-19 150
由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。为了突出”From Scratch”的特点（都是标题没选好的缘故），所以下面的步骤稍显有些啰嗦，老司机大可不必阅读，直接跳过就好。 　　 一．JDK的安装与环境...
Spark在Windows环境下的搭建
Simon的博客
03-11 6454
一、安装JDK 本文写于2022年3月，此时最新版的JDK已经更新到了JDK17——下载地址。为了满足开发人员的需要，Oracle仍然提供了JDK8和JDK11可供下载，下载链接也在上面的网站上，只需要把页面下滑即可。 注：由于需要配置Spark，但Spark与较新的JDK兼容性不好，如果使用最新的JDK，后序运行Spark过程中会出现错误。因此，建议初学者安装JDK8即可。 下载完成后即可安装。但需要注意的是，需要为JDK设置三个环境变量PATH、JAVA_HOME、CLASSPATH，网上已经有很多
Spark在Windows下的环境搭建方法
10-16
在上述所有软件安装和配置完成后，需要在Windows系统中通过命令行验证Spark环境是否搭建成功。可以在命令行中输入“spark-shell”，如果能进入Spark的交互式命令行环境，则表示搭建成功，可以开始进行Spark开发工作...
Spark环境搭建-Windows
qq_47844519的博客
07-06 2169
spark Windows搭建
windows下搭建spark环境出现ChangeFileModeByMask error (3): ???????????
韦人人韦
11-12 4625
按照 这篇文章搭建spark环境时，处理winutil.exe时遇到了ChangeFileModeByMask error (3): ??? 这个问题。 解决办法 在C盘创建tmp/hive文件夹（关键）， 然后输入命令行： F:\Program Files\hadoop\bin\winutils.exe chmod 777 C:/tmp/hive 即可。 ...
Spark环境搭建
10-16
spark环境搭建
spark在windows下的环境搭建（转）
ASN_forever的博客
07-15 239
https://blog.csdn.net/u011513853/article/details/52865076
Spark开发环境的配置
i am me，haha，么么哒。。。
04-20 1155
软件版本：Spark 0.9 配置Spark开发环境，其实分为三个层次，一种是针对运维人员，把Spark安装部署到集群；一种是针对普通开发者，引入Spark的jar包，调用Spark提供的接口，编写分布式程序，写好后编译成jar，就可以提交到Spark集群去运行了；第三种是针对Spark开发者，为了给Spark贡献代码，需要git clone Spark的代码，然后导入IDE，为Spark开发代
spark环境配置
chuanchenyi的博客
05-14 3526
下载完成后进行解压： tar -zxvf spark-2.1.1.tgz #简短的名字易于操作 mv spark-2.1.2-bin-hadoop2.7 ./spark 解压到目标目录即完成安装， spark 解压后主要包含如下子目录： bin/ (工具程序目录) conf/ (配置文件目录) jars/ (scala Jar 包目录) python/ (python package 目录) sbin/ (服
Spark环境配置
yangcongyangling的博客
04-08 354
与hadoop比较 Hadoop除了提供为大家所共识的HDFS分布式数据存储功能之外，还提供了叫做MapReduce的数据处理功能。 Spark数据处理速度秒杀MapReduce Spark因为其处理数据的方式不一样，会比MapReduce快上很多。MapReduce是分步对数据进行处理的: ”从集群中读取数据，进行一次处理，将结果写到集群，从集群中读取更新后的数据，进行下一次的处理，将结果写
spark--环境配置
xiangminghan的博客
07-12 303
下载网址 https://archive.apache.org/dist/spark/spark-2.4.4/ 链接：https://pan.baidu.com/s/1BC8HRX5i-4smWKKhEj0W4g 提取码：ap5h 1.解压安装包 [root@bigdata101 software]# tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz -C /opt/module/ 2.进入spark的conf里面重命名：spark文件名 [root@bigdata101 m
PySpark实战（二）——Spark环境配置
最新发布
Stack It Up
03-14 1771
Spark环境配置
Spark环境配置与学习
leiline的博客
02-17 672
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。本文主要介绍spark环境配置以及基础入门学习。
Windows下Spark环境搭建教程：步骤详解
本篇文章主要介绍了在Windows环境下...这些步骤是针对Windows环境搭建Spark所需的基本配置，实际操作时可能需要根据个人系统情况和特定需求进行调整。通过遵循本文提供的步骤，用户可以为Spark开发环境打下坚实的基础。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值