centos 7 下 spark 安装(python)

最新推荐文章于 2024-09-05 14:11:37 发布

miniseax

最新推荐文章于 2024-09-05 14:11:37 发布

阅读量1.1k

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/wugcd/article/details/78528133

版权

大数据专栏收录该内容

3 篇文章 0 订阅

订阅专栏

本文详细介绍如何从零开始安装配置Python及Spark环境，包括Python、JDK的安装步骤，Spark的下载与解压，并配置相关环境变量。此外还介绍了如何通过命令行启动PySpark以及使用浏览器查看Spark运行状态。

摘要由CSDN通过智能技术生成

1.python 安装
2.jdk 安装
3.下载spark：http://spark.apache.org/downloads.html, 用最新版（spark-2.2.0-bin-hadoop2.7.tar),解压到合适的目录，我放在了/srv/下
4.配置环境变量
export SPARK_HOME=/srv/spark-2.2.0-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH

5. 运行pyspark, 可以看到以下界面：

6.也可以用浏览器访问： http://192.168.0.120:4040