Win10下开发基于hadoop的spark、flink项目(全系列篇)

1、版本匹配选择(github官方建议)

1.1 根据spark源码中的pom文件查看:https://github.com/apache/spark
1.2 pom文件书写格式:https://search.maven.org/search?q=g:org.apache.spark%20AND%20v:3.0.0

2、具体安装配置教程

2.1.1 spark安装教程1:https://blog.csdn.net/songhaifengshuaige/article/details/79480491
2.1.2 spark安装教程2:https://blog.csdn.net/hongxingabc/article/details/81565174
2.1.3 spark历史版本下载:
    Linux系统命令:(手动修改版本号即可)
    wget  http://d3kbcqa49mib13.cloudfront.net/spark-2.1.0-bin-hadoop2.6.tgz
    windows系统网址:https://archive.apache.org/dist/spark/

2.2.1 hadoop历史版本下载:http://archive.apache.org/dist/hadoop/core/
2.2.2 hadoop安装指导:https://www.cnblogs.com/bybdz/p/9534079.html
2.2.3 hadoop安装指导:https://baijiahao.baidu.com/s?id=1631225218387105313&wfr=spider&for=pc
2.2.4 hadoop中bin下添加winutils.exe文件:https://github.com/steveloughran/winutils
2.2.5 基于ZooKeeper搭建Hadoop高可用集群的教程图解:https://www.jb51.net/article/163766.htm
2.2.6 Hadoop生态各组件搭建的环境配置记录汇总【超详细+Flink】:https://blog.csdn.net/qq_25948717/article/details/99314481

2.3 scala历史版本下载:https://www.scala-lang.org/download/all.html

2.4.1 kafka安装教程(linux):https://www.cnblogs.com/zhaoshizi/p/
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值