IDEA连接wsl内docker的spark集群（scala版）

IDEA连接wsl内docker的spark集群

前提条件
已经在Ubuntu系统中配置完成spark集群！！！

写在前面：
我的环境基本如下图：

在win 10中安装wsl（Ubuntu），然后在这个Ubuntu子系统中使用docker搭建了spark集群。

节点	IP
master	172.17.0.2
slave1	172.17.0.3
slave2	172.17.0.4

windows的IP信息：

Ubuntu系统的ip信息：

Ubuntu系统的ip信息较多，但是大多没用，只看这两个就好。

刚开始的时候由于Windows和spark集群的节点不在同一个网段，压根ping不同，别说提交任务到集群。

一、ping通win和master

在windows系统ip信息有个非常重要的一项：

它是Windows为Ubuntu系统分配的ip，有了它，windows才能ping通Ubuntu，而Ubuntu系统又本身就可以ping通master节点，那我们就可以通过它来访问到master节点——添加路由。

route add 172.17.0.0 mask 255.255.255.0 172.20.80.1 -p

route add命令的主要作用是添加静态路由，通常的格式是：
e.g. : route add 134.105.0.0 mask 255.255.0.0 134.105.64.1
意思是：所有需要发往134.105.0.0/16地址段的IP数据包，全部由134.105.64.1路径转发。
这样一来我们发往172.17.0.0网络的数据包都会通过172.20.80.1转发，而172.20.80.1是能够快速找到172.17.0.2主机的。

二、下载IDEA

https://www.rjsos.com/archives/idea2020.html
大家直接自己下载吧，和我放网盘里没什么差别。

三、IDEA配置

1. IDEA 配置maven环境
   这个网上的教程挺多的，随便一搜都是，我就不写了，也挺简单的。
2. IDEA配置Scala环境
   file --> setting --> plugins输入scala选择第一个安装就ok。

三、需要下载的东西

1. 与Ubuntu系统spark集群中配置的hadoop版本一直的hadoop以及它在windows下的插件winutils.exe，hadoop.all等
   链接：https://pan.baidu.com/s/10vpKVkeIpDALfHO6zloLow
   提取码：rwst
   复制这段内容后打开百度网盘手机App，操作更方便哦–来自百度网盘超级会员V3的分享
   我把我使用的放进网盘里了，这个当时也是我花钱买的，本着开源的精神，跟大家一起分享了。但是配置文件没写，可以参考：https://www.freesion.com/article/1464168444/
2. 与Ubuntu系统spark集群版本一致的spark
   这个是为了编写代码的时候导入包用的。
   链接