本文介绍了在mac系统中，如何配置Python2环境来运行SparkSQL。首先，通过安装Anaconda创建环境，接着配置环境变量，并使用Python代码查找site-packages目录。然后，详细讲述了运行前的准备工作，包括编写代码、开启HDFS、创建和上传json文件。最后，文中提到了两种提交Spark任务的方式，一种是直接运行，另一种是通过spark-submit命令提交。
1. 环境如下
参考：https://blog.csdn.net/qq_21383435/article/details/79240276
1 .1 安装Anaconda
https://www.anaconda.com/download/#macos
注意：这里建议下载Python 2.7 version *，因为最新的spark可能不支持
1.2 配置环境变量
lcc@lcc ~$ vim .bash_profile
export SPARK_HOME=/Users/lcc/soft/spark/spark-2.
订阅专栏 解锁全文
扫一扫
2247
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
