(Spark系列一)Pycharm远程连接服务器并调试Spark程序

本文介绍了如何使用PyCharm专业版远程连接到服务器并调试Spark程序。首先,确保服务器已安装py4j。在PyCharm中配置Deployment进行本地与服务器代码同步,并设置Python Interpreter以连接服务器上的Python环境。通过这些步骤,可以实现从本地提交任务到服务器的Spark环境。
摘要由CSDN通过智能技术生成

背景介绍

之前使用Java远程对MapReduce编程时,只需要服务器配置好地址映射,本地建立Maven项目并导入相关配置项,同时建立好本地Hadoop环境就可以远程提交任务到NameNode了,但是Python运行Spark任务我找了大部分文献貌似都不能这么去提交任务~~,于是就利用Pycharm去连接服务器并提交任务

项目要求
1.专业版Pycharm 学生免费使用~
2.服务器上已经搭建好了相关环境

环境安装
1.服务器安装py4j

pip3 install install

2.本地Pycharm配置

  • 配置Deployment
    1.首先配置本地与服务器的代码同步,打开
    Tools | Deployment | Configuration
    如图
    2.点击左边的+号部署一个新的配置
    在这里插入图片描述
    其中 username 为登陆服务器的用户名,RootPath为Linu服务器中文件的目录。

    3.在Mapping 选项中,Local Path为Windows下的项目存放路径,就是将本地目录同步到服务器上面,Deployment path 的意思就是在上面的Root Path 路径后面追加的路径地址。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值