Spark集群安装和部署(一)-----Ubuntu16.0.4创建hadoop用户
Spark集群安装和部署(二)-----Ubuntu16.0.4安装jdk8
Spark集群安装和部署(三)-----ubuntu16.0.4安装hadoop
Spark集群安装和部署(四)-----ubuntu16.0.4安装Scala
Spark集群安装和部署(五)-----ubuntu16.0.4安装Spark
Spark集群安装和部署(六)-----pyspark更新Python版本、Notebook安装配置、安装pip
下载地址:http://spark.apache.org/downloads.htm
下载好后解压到:/usr/local/
sudo tar zxvf spark-2.3.1-bin-hadoop2.7.tgz -C /usr/local/
删除安装包:
rm spark-2.3.1-bin-hadoop2.7.tgz
进入到减压目录并重命名:
cd /usr/local/
sudo mv spark-2.3.1-bin-hadoop2.7 spark
配置环境:
sudo vim ./bashrc
source ./bashrc
配置配置spark-env.sh
进入到spark/conf/
cp spark-env.sh.template spark-env.sh
vim spark-env.sh
export JAVA_HOME=/usr/local/java/jdk1.8.0_181
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SCALA_HOME=/usr/local/scala
export SPARK_HOME=/usr/local/spark
export SPARK_MASTER_IP=127.0.0.1
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8099
export SPARK_WORKER_CORES=3
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=5G
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_EXECUTOR_CORES=1
export SPARK_EXECUTOR_MEMORY=1G
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/native
java,hadoop等具体路径根据自己实际环境设置。
配置Slave
cp slaves.template slaves
vim slaves
默认就是localhost
启动(前提是hadoop伪分布已经启动,就是上面的jps后出现那几个):
启动sbin目录下的start-master.sh以及start-slaves.sh
注意:
sbin目录下都是些启动或关闭操作,尤其注意下有start-slaves.sh和start-slave.sh,这里启动的是start-slaves.sh
Spark的web界面:http://127.0.0.1:8099/
启动bin目录下的spark-shell
spark-shell的web界面http://127.0.0.1:4040
当然为了方便,还可以配置修改BASH配置:
vim ./bashrc
export SPARK_HOME=/usr/local/spark
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${SPARK_HOME}/bin:${SPARK_HOME}/sbin:$PATH
source ./bashrc
以后就可以方便使用了。
简略日志:
spark将所有日志都会输出,很详细,所以屏幕打印很多,由于混合了很多日志不利于寻找程序执行的结果,所以要将info,改为warn,这样打印结果简单明了了许多。
cd $SPARK_HOME/conf
cp log4j.properties.template log4j.properties
sudo vim log4j.properties