spark eclipse 环境配置

eclipse安装

版本本是eclipse oxygen 也可以直接用去下scala 的eclipse 版本

eclipse scala 插件安装

help->eclipse market 搜索 scala 找到scala ide 插件 安装 重启

hadoop util 安装

github地址

maven 包配置

参照列子

demo

##其他配置

1. Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
   Hadoop Windows下eclipse开发hadoop程序会报错， 把winutils.exe文件放到hadoop/bin下，在环境变量中配置 HADOOP_HOME 即可。
   HADOOP_HOME=C:\hadoop
2. 本地模式运行时需要读取集群hive表及hdfs数据，把下面配置文件从集群上拷贝到工程资源目录即可
3. core-site.xml hdfs-site.xml hive-site.xml yarn-site.xml
   为Spark的用户程序指定关联用户，可以使用系统属性"user.name"。System.setProperty(“user.name”, “hadoop”)
4. 为Hadoop的用户程序指定关联用户，可以使用环境变量"HADOOP_USER_NAME"或系统属性"HADOOP_USER_NAME"
   System.setProperty(“HADOOP_USER_NAME”, “hadoop”); 
   环境变量 HADOOP_USER_NAME=hadoop