spark的安装和使用

1.首先检查是否安装了java和scala

可以通过java -version检查java是否成功安装

可见通过检测scala 检查scala是否成功安装

下载spark 

wget http://mirror.bit.edu.cn/apache/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

解压tar -zxvf spark-2.3.0-bin-hadoop2.7.tgz

手动新建三个配置文件

cd conf/

  cp spark-env.sh.template spark-env.sh

  cp spark-defaults.conf.template spark-defaults.conf

  cp slaves.template slaves

本机ip是192.168.1.188。三个配置文件的内容分别如下：

注意spark-env.sh中java_home设置的路径和which java 得到的路径的区别

针对etc/profile文件我只添加了spark的路径并没有修改别的

通过./sbin/start-all.sh

通过spark-shell 检查spark是否运行正常

从上图中可以看到spark的网页是http：localhost：4040

通过jps查看worker和master