spark+hive+hdfs windows开发环境配置：



典型配置：

1. spark在linux中以standalone方式运行,配置参数如下：“spark-env配置参数 ”。
2. 在windows idea中编辑代码，运行driver，连接远程master，运行程序，可同步运行查看日志，可单步调试
3. 如果连接hive需要在本机src中配置hive-site.xml中的 hive.metastore.uris
4. 配置本地hadoop_home，下载winutils.exe，拷贝到hadoop_home/bin
5. 参照下面虚拟机中运行步骤7-9
6. 如果多网卡，则需在本机配置SPARK_LOCAL_IP=集群里ip
7. 在低配置机器上运行idea 有可能导致内存溢出，需要指定程序运行内存： -Xms128m -Xmx512m -XX:PermSize=250m -XX:MaxPermSize=512m
   
   

windows 需要配置环境变量 HADOOP_HOME ，HADOOP_USER_NAME

HADOOP_HOME=D:\hadoop-2.6.0

HADOOP_USER_NAME=hdfs

SPARK_LOCAL_IP =127.0.0.1

需要重启电脑生效

spark-env配置参数：

# Where the pid file is stored. (Default: /tmp) 用于后台运行spark

export SPARK_PID_DIR=/var/run/spark

# A string representing this instance of spark.(Default: $USER)
SPARK_IDENT_STRING=$USER

export HADOOP_HOME=${HADOOP_HOME:-/usr/hdp/current/hadoop-client}
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/usr/hdp/current/hadoop-client/conf}

# The java implementation to use.

export JAVA_HOME=/usr/java/jdk1.7.0_67

export SPARK_MASTER_IP=master1