spark的安装

#spark的安装
##在habdoop安装完成的前提下

##将下载好的spark，复制到/usr/tmp,并到此目录底下

##解压到/usr/local

进入解压目录（/usr/local）

修改spark的名字

使Hadoop是当前登录系统的用户名

进入解压的spark目录
并将目录下的con/spark-env.sh.template复制到con，并改名为spark-env.sh

这里显示权限不够
使用sudonautilus手动复制文件并改名

改名后在spark-env.sh在第一行添加一句：
export SPARK_DIST_CLASSPATH=$(/ust/local/hadoop/bin/hadoop classpath)
修改.bashrc文件
文件中应该包含以下内容：
JAVA_HOME
HADOOP_HOME
SPARK_HOME
PYTHONPATH
PYSPARK_PYTHON
PATH

让代码让环境变量生效
source ~/.bashrc
##验证Spark是否安装好
出现的问题：在~/.bashrc里面明明配置了JAVA_HOME，可是执行spark shell的时候还是会报错java home is not set。
根据提示：https://blog.csdn.net/weixin_38627405/article/details/78336411
出现vim:找不到命令，修改如下

并将文件中的161行的JAVA_HOME写成自己的jdk位置

测试时发现还有问题

通过查找是因为run_example中的JAVA_HOME也需要重新设置一下

测试成功

由于输出较多，精选一下，输出如下：

Spark和hadoop的交互

还是可以配置JAVA_HOME

设置免秘钥登录

再次尝试

运行pyspark