Win10下安装spark踩坑实录

最新推荐文章于 2024-05-07 16:08:49 发布
最新推荐文章于 2024-05-07 16:08:49 发布
阅读量979 收藏 2
点赞数
分类专栏： 大数据学习 文章标签： spark scala hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shdxhsq/article/details/106480790
版权

配置spark之前，需要有jdk8，Hadoop环境

目录

一.安装IDE

http://scala-ide.org/download/sdk.html

图片

版本号最好对应上

也有scala的插件，但是不建议这样装

直接解压下载好的安装包

二.安装scala

step1：下载

https://www.scala-lang.org/download/2.12.3.html

图片

msi和zip都可以

zip直接就是源码，下载解压之后就可以啦

msi有一个安装引导助手，如下图：

双击scala-2.11.8.msi安装包，启动安装程序，

图片

点击next

中间会有一步选择安装位置的，这里要注意，路径里不要用空格，不要有空格，不要有空格

step2：配置环境

①系统变量里增加一项：图片

②在Path中增加一项：

图片

要注意啊，上面写了bin，下面就不要写

step3:测试

图片

三.安装Spark

官网传送门：https://spark.apache.org/downloads.html

由于我已经配置好了hadoop2.8.5，就选择了这个版本
在这里插入图片描述
有一个问题需要注意，就是尽管本地已经装了hadoop，但是，还是选用上图的版本。下图的这个版本配置起来会出现各种各样的问题，比较坑。要特别注意！！
本地2.8.5的hadoop和2.4.6的spark是可以一起用的
图片

首先下载安装包

最低0.47元/天 解锁文章
shdxhsq
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Windows 运行spark on yarn HADOOP_CONF_DIR和YARN_CONF_DIR配置项无效
qq_65303368的博客
02-20 376
在conf/spark-env.sh文件中配置HADOOP_CONF_DIR和YARN_CONF_DIR后依然无法解决问题。在windows上运行spark on yarn出现。
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
windows10下spark2.3.0本地开发环境搭建 win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本： win10 家庭装，64位，x86处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-2.11.8 Maven-3.5.3 ideaIC-2018.1.4.exe spark-2.3.0-bin-hadoop2.7 对应博文：https://blog.csdn.net/hambition/article/details/80769771 由于博文上传图片比较麻烦，图片又非常之多，没分的同学可直接看博文。
spark win10安装个人总结
weixin_44133327的博客
03-31 165
本次安装spark hadoop主要参考这个链接 https://blog.csdn.net/songhaifengshuaige/article/details/79480491 pyspark的安装 https://mp.weixin.qq.com/s/6Fo7mq2lSjiKiMw0Nj00Rg
Spark安装教程
m0_74972727的博客
05-07 681
【代码】Spark安装教程。
Win10 环境下 spark 本地环境的搭建
Dyun_480163的博客
12-01 1613
此电脑(右击)==>属性==>高级系统设置==>环境变量==>系统变量==>Path==>新建。此电脑(右击)==>属性==>高级系统设置==>环境变量==>系统变量==>Path==>新建。此电脑(右击)==>属性==>高级系统设置==>环境变量==>系统变量==>Path==>新建。下载 jdk1.8.0_66_windows-x64_bin.exe(或其他版本)，点击安装。此电脑(右击)==>属性==>高级系统设置==>环境变量==>系统变量==>新建。启动 jupyter notebook。
spark的安装与部署
weixin_65195823的博客
06-28 1万+
为了避免MapReduce框架中多次读写磁盘带来的消耗，以及更充分地利用内存，加州大学伯克利分校的AMP Lab提出了一种新的、开源的、类Hadoop MapReduce的内存编程模型Spark。一、spark是什么？Spark是一个基于内存的大数据并行处理框架，其最初由加州大学伯克利分校的AMP Lab研发，现已成为Apache软件基金会的顶级项目之一。Spark不仅提供了可扩展、高容错、高性能的分布式数据处理，还提供了内存级的数据处理。
Spark踩坑记——SparkStreaming+Kafka
02-25
在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了sparkstreaming从kafka中不断拉取数据进行词频统计。...
centOS7下Spark安装配置教程详解
09-15
在本文中，我们将深入探讨如何在CentOS7操作系统上安装和配置Apache Spark，这是一个流行的分布式计算框架。首先，我们需要确保我们的环境满足Spark的运行需求，包括Java Development Kit (JDK) 和Scala的安装。 1....
win10下的Spark本地idea环境搭建教程.docx
04-02
在Windows 10操作系统中，要进行Spark的本地开发和调试，首先需要确保安装了必要的软件环境，包括OpenJDK、Scala、Hadoop以及IntelliJ IDEA（简称IDEA）。以下是详细的步骤： 1. **安装OpenJDK8** - 从官方下载...
Ubuntu下安装spark.pdf
09-29
Ubuntu下安装spark.pdf
Spark环境搭建（保姆级教程）
tangyi2008的专栏
02-24 5万+
Spark 是一个大规模数据处理的统一分析引擎 本文主要介绍Spark的相关配置，以及各种模式的代码提交，包括Local,Standalone,YARN。 文末有相应资源下载网盘链接。
spark和scala环境安装与部署（超详细版），我保证你敢看，你就学会了
2301_80975885的博客
03-08 5701
Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发的通用内存并行计算框架Spark得到了众多大数据公司的支持，这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。当前百度的Spark已应用于大搜索、直达号、百度大数据等业务；
保姆级丨Spark环境搭建
尼泊罗河伯的博客
07-31 2304
Apache Spark 是一种用于大数据工作负载的分布式开源处理系统。它使用内存中缓存和优化的查询执行方式，可针对任何规模的数据进行快速分析查询。
spark安装踩坑
Szcollar的博客
05-08 1832
spark安装踩坑 1.下载文件 应当下载前三个，最后一个很小估计只有代码资源，该有的包都没有。于是直接运行bin/spark-shell 时会报错：Failed to find Spark jars directory (/opt/module/spark-3.1.1/assembly/target 2.JNI error 报错：A JNI error has occurred, please check your installation and try again 这种情况是由于*/opt/modu
windows10下spark2.4.5本地开发环境部署与测试
我的博客
02-25 1051
最近全国各地学生都开始上网课了，我也不例外。 今天开始学习spark，因为不在学校，在自己笔记本上重新装分布式集群时间成本太高了，所以spark在集群上跑是不行的了。所以今天老师简单介绍完spark，就让我们完成spark本地开发环境部署的任务了。 老师甩给我们几个安装包和一个简易的安装手册。 ![在这里插入图片描述](https://img-blog.csdnimg.cn/202002252...
使用java命令出现Error: A JNI error has occurred, please check your installation and try again的错误
热门推荐
CircleYuan的博客
08-01 24万+
运行Java程序，javac运行.java文件没有报错，但java运行的时候报错   仔细看一下报错 Exception in thread "main" java.lang.UnsupportedClassVersionError: helloworld has been compiled by a more recent version of the Java Runtime (cl...
linux qt4的qcombobox下拉框，在窗口管理器，开启复合效果后，会跑偏问题
elimuzi的博客
10-27 503
1. 下载qt4的源码 这里使用的是qt4.8.6网址，http://download.qt.io/archive/qt/4.8/4.8.6/，下载qt-everywhere-opensource-src-4.8.6.tar.gz。 2. 编译qt a.解压 将qt-everywhere-opensource-src-4.8.6.tar.gz放入/opt目录下 tar -zxvf qt-everywhere-opensource-src-4.8.6.tar.gz b.生成Makefile cd qt-ev
win10安装spark
最新发布
05-28
4. 启动Spark，通过运行spark-shell或spark-submit命令来验证Spark是否正确安装。 5. 如果你想在Windows上使用Hadoop分布式文件系统(HDFS)或YARN资源管理器，你还需要安装Hadoop并配置相关环境变量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值