java spark程序_Windows下：Eclipse通过java开发spark程序【1】

准备：本机环境设置环境 jdk1.8，hadoop2.8.1(与服务器上hadoop环境保持一致)

第一步：

需要下载windows版本 bin目录下的文件，替换hadoop目录下原来的bin目录下的文件。下载网址是： https://github.com/srccodes/hadoop-common-2.2.0-bin

另外还需要注意：下载的动态库是64位的，所以必须要在64位windows系统下运行.

把这个文件夹下的bin目录覆盖自己本地hadoop安装目录的bin文件夹

第二步：

新建maven项目把服务器端下的hadoop目录下etc/hadoop 下面的配置文件 core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml放到项目resources目录下

第三步：

maven添加pom依赖：

org.apache.hadoop

hadoop-client

2.8.1

org.apache.spark

spark-core_2.11

2.3.1

org.apache.spark

spark-streaming_2.11

2.3.1

注意 hadoop以及spark版本,要与自己的版本一致，具体版本对应请自己百度查找，或者去spark官网查看相应提示，

我服务器使用的是spark2.2.0 官网提示使用2.11版本