spark rdd.map依赖外部文件

先说一说普通的java项目依赖外部文件，在扩展到spark集群上。

单节点：

maven项目，代码中依赖一个A.mmdb文件。本来代码中写的是绝对路径获取的A.mmdb文件，部署到linxu上的时候需要把路径改了，还得把mmdb文件上传到linux的指定目录上面。

所以把mmdb文件放到了项目的resource里面，通过maven打包后，jar包里面存在mmdb文件，在代码中使用如下代码可以获取A文件的输入流，进行下一步的处理。

InputStream inputStream=IpUtil.class.getClassLoader().getResourceAsStream("A.mmdb");

命令行执行jar包，java -cp ，也能得到想要的结果。故此问题解决。

 

spark开发：

本人在spark+java的开发中，使用rdd.map方法对A.mmdb文件产生了依赖。在集群上跑的时候，要保证集群每个工作节点都能拿到这个A.mmdb文件。

有2中方法，1.在每个节点的同一个目录上传一个A.mmdb文件，代码里面指定绝对路径。

2.就是使用我上述的方法，jar包里面有A.mmdb文件，并且在代码里面获取A.mmdb文件的时候使用上述方式