PyCharm远程操作服务器Spark

PyCharm远程操作服务器Spark

1.环境准备

- windows

JetBrains PyCharm 2019.1.3 Professional版本 

- Linux(CentOS)

Python version 3.6.5
Spark version 2.4.3

vim /etc/profile
向PATH追加
export PATH=.:$PATH:$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.7-src.zip:

:wq

source /etc/profile

- Python(CentOS)

pip install pyspark
pip install py4j

2.Pycharm配置

- 配置Pycharm Deployment(必须是Professional版本)

1.选择菜单栏 Tools->Deployment->Configuration

2.配置服务器同步代码

- 配置Pycharm interpreter配置(不同的版本可能会有所差异)

1.选择菜单栏 (File->Settings)(Ctrl+Alt+S)->Project:项目名->Project Interpreter

2.ssh连接 无误后点击apply

3.实例代码

4.上传代码

5.运行