背景介绍
之前使用Java远程对MapReduce编程时,只需要服务器配置好地址映射,本地建立Maven项目并导入相关配置项,同时建立好本地Hadoop环境就可以远程提交任务到NameNode了,但是Python运行Spark任务我找了大部分文献貌似都不能这么去提交任务~~,于是就利用Pycharm去连接服务器并提交任务
项目要求
1.专业版Pycharm 学生免费使用~
2.服务器上已经搭建好了相关环境
环境安装
1.服务器安装py4j
pip3 install install
2.本地Pycharm配置
-
配置Deployment
1.首先配置本地与服务器的代码同步,打开
Tools | Deployment | Configuration
2.点击左边的+号部署一个新的配置
其中 username 为登陆服务器的用户名,RootPath为Linu服务器中文件的目录。3.在Mapping 选项中,Local Path为Windows下的项目存放路径,就是将本地目录同步到服务器上面,Deployment path 的意思就是在上面的Root Path 路径后面追加的路径地址。