【本人是一个菜鸡,记录该文章主要是为了让自己对初学spark教程安装本地模式更熟悉,技术有限可能无法解答其他问题,欢迎指导其中不足】
spark学习教程:【尚硅谷大数据Spark教程从入门到精通】https://www.bilibili.com/video/BV11A411L7CK?p=109&vd_source=6617303cfc6957d7bc5aaba4f05116b7
spark本地安装辅助教程:【win10系统spark安装环境配置_bilibili】https://www.bilibili.com/video/BV1Lh411n7P9?vd_source=6617303cfc6957d7bc5aaba4f05116b7
如果视频失效参考下up主的笔记:
以下是本次学习的安装步骤:
1、获取spark和Hadoop、scala的对应安装包,注意版本间一定要匹配,否则无法使用使用,本次学习使用的事scala2.12.11、hadoop3.0.0、spark-3.0.0-bin-hadoop3.2
2、下载spark和安装包:
spark:链接:https://pan.baidu.com/s/1tXqzu9rcM_7q5bqpi2Au5g
提取码:re5d
hadoop:链接:https://pan.baidu.com/s/1gadplZluJoNZIk06MdU5_w
提取码:leyq
scala:到官网下载对应版本即可
3、跟着【spark本地安装辅助教程】安装,注意教程的内容不是全部适用、hadoop的安装教程不适应我的本次安装,可能是up主在安装前做了其他的准备工作,或者安装了其他东西
4、spark和scala安装完后注意到idea中进行相应的配置设置,scala的安装比较简单这里就不赘述,网上也有专门的教程,搜下即可
5、对于hadoop的安装,注意要设置环境变量,其他的部分在参考【spark本地安装辅助教程】后,还得借鉴以下两篇博客:
6、安装完成后,即可跟着 【spark学习教程】进行学习