在Pycharm中添加外部工具运行Python Spark

最新推荐文章于 2024-10-03 22:24:25 发布

SanFanCSgo

最新推荐文章于 2024-10-03 22:24:25 发布

阅读量2.9k

点赞数 1

分类专栏：操作系统、软件安装及环境配置文章标签： Pycharm python spark

本文链接：https://blog.csdn.net/weixin_40170902/article/details/82559256

版权

本文详细介绍了如何在PyCharm中添加并配置外部工具以方便运行Python Spark程序，包括设置spark-submit的路径、参数，以及针对YARN和Standalone模式的特定配置。通过这种方式，可以避免在终端手动输入复杂命令，提高开发效率。

摘要由CSDN通过智能技术生成

终端命令以不同模式运行Python Spark

在“终端”中以不同模式运行Python Spark程序需要输入很长的命令，例如分别以local、Hadoop YARN、和Spark Standalone模式运行Python Spark（这里以~/pythonwork/PythonProject/wordcount.py为例）每次都要输入命令：

local:
cd ~/pythonwork/PythonProject spark-submit --driver-memory 2g --master local[4] wordcount.py

Hadoop YARN:
cd ~/pythonwork/PythonProject Hadoop_CONF_DIR=/usr/local/hadoop/etc/hadoop spark-submit --driver-memory 512m --executor-cores 2 --master yarn --deploy-mode client wordcount.py
Spark Standalone:
cd ~/pythonwork/PythonProject spark-submit --master spark://master:7077 --deploy-mode client --executor-memory 500M --deploy-mode client --total-executor-cores 2 wordcount.py