spark如何搭建本地模式

【本人是一个菜鸡,记录该文章主要是为了让自己对初学spark教程安装本地模式更熟悉,技术有限可能无法解答其他问题,欢迎指导其中不足】

spark学习教程:【尚硅谷大数据Spark教程从入门到精通】https://www.bilibili.com/video/BV11A411L7CK?p=109&vd_source=6617303cfc6957d7bc5aaba4f05116b7

spark本地安装辅助教程:【win10系统spark安装环境配置_bilibili】https://www.bilibili.com/video/BV1Lh411n7P9?vd_source=6617303cfc6957d7bc5aaba4f05116b7

如果视频失效参考下up主的笔记:

以下是本次学习的安装步骤:

1、获取spark和Hadoop、scala的对应安装包,注意版本间一定要匹配,否则无法使用使用,本次学习使用的事scala2.12.11、hadoop3.0.0、spark-3.0.0-bin-hadoop3.2

2、下载spark和安装包:

spark:链接:https://pan.baidu.com/s/1tXqzu9rcM_7q5bqpi2Au5g 
提取码:re5d 


hadoop:链接:https://pan.baidu.com/s/1gadplZluJoNZIk06MdU5_w 
提取码:leyq 
 

scala:到官网下载对应版本即可

3、跟着【spark本地安装辅助教程】安装,注意教程的内容不是全部适用、hadoop的安装教程不适应我的本次安装,可能是up主在安装前做了其他的准备工作,或者安装了其他东西

4、spark和scala安装完后注意到idea中进行相应的配置设置,scala的安装比较简单这里就不赘述,网上也有专门的教程,搜下即可

5、对于hadoop的安装,注意要设置环境变量,其他的部分在参考【spark本地安装辅助教程】后,还得借鉴以下两篇博客:

https://blog.csdn.net/qq_40595055/article/details/105424859文章浏览阅读5.8k次,点赞14次,收藏9次。一堆_mysql exitcode 1073741515https://blog.csdn.net/qq_40595055/article/details/105424859

Exception in thread “main“ ExitCodeException exitCode=-1073741515_exception in thread "main" exitcodeexception exitc-CSDN博客文章浏览阅读1.4k次,点赞2次,收藏9次。复制过去后还是不行,然后我又想是不是电脑缺少c++运行库导致的(缺失某些dll文件),因为之前重装了一下系统。链接:https://pan.xunlei.com/s/VNG24ZupE3VvuMolgsX9PxSAA1。这里下载C++库合集,下载好之后进行安装(默认就可以)。这样程序就运行成功了。这样程序就运行成功了。_exception in thread "main" exitcodeexception exitcode=-1073741515:https://blog.csdn.net/W_chuanqi/article/details/127697952本次安装时一直无法使用hadoop主要是因为电脑缺少了c++运行库。

6、安装完成后,即可跟着 【spark学习教程】进行学习

  • 17
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值