spark centos7 虚拟机环境 安装

centos7 spark

配置

环境变量为yarn模式启动

export HADOOP_CONF_DIR=/opt/software/hadoop313/etc/hadoop
export SPARK_HOME=/opt/ software/ spark312
export PATH=$SPAR{K}_{H}OME/bin：$SPARK_HOME / sbin : $PATH

mv spark-env.sh.template spark-env.sh

vim spark-env.sh

export SPARK_ MASTER_HOST=singlehenry
export SPARK MASTER_PORT=7077

客户端访问:

spark-shell

启动集群测试 重启一个窗口 如果配置了环境变量 启动命令./start-master.sh 前面就不用写./

start-master.sh
start-slave.sh spark : //singlefangliang : 7077
jps
9611 org.apache.spark.deploy.master.Master --host singlehenry --port 7077 --webui-port 80809729 org.apache.spark.deploy.worker.worker --webui-port 8081 spark://singlehenry:7077

spark-shell --master yarnl spark: / /singlehenry: 7077|mesos

windows spark

系统变量

HADOOP_HOME 		D: lsoftware\hadoop313
HADOOP_USER_NAME	root
JAVA_HOME			C : \ Program Files\Javaljdk1.8.0_231
JRE_HOME			C : \ Program Files\Javaljre1.8.0_231
SCALA_HOME			c: \ Program Files (x86) lscala
Path				JAVA_HOME&\bin ;%JRE_HOME%\jre ;%SCALA_HOME%\bin ;%HADOOP_HOME%\bin;D:
lsoftwarelapache-maven-3.5.4\bin;D: software\xshell\

IDEA

scala plugin 安装.
global libraries 全局scala库
scala.version 2.12.10
可能出现插件异常，添加如下依赖

org.scala-tools</ groupId>
maven-scala-plugin</ artifactId>
2.11
</ dependency>

org.apache.maven.plugins
maven-eclipse-plugin</ artifactId>2.5.1

MAVEN安装