pycharm搭建远程spark调试环境

最新推荐文章于 2024-11-06 13:02:41 发布

栖悦

最新推荐文章于 2024-11-06 13:02:41 发布

阅读量2.3k

点赞数

分类专栏： spark 文章标签： spark python3 pycharm

本文链接：https://blog.csdn.net/weixin_43843793/article/details/84590399

版权

本文介绍了如何在PyCharm中搭建远程Spark调试环境，详细步骤包括在CentOS7上安装pyspark和python3，解决python3与zlib、libffi的依赖问题，以及在Windows客户端配置PyCharm远程编译器。

摘要由CSDN通过智能技术生成

pycharm搭建远程spark调试环境

内容描述

内容描述

之前一直在单机伪分布式的spark环境中调试，操作系统是windows，现在需要连接到集群环境中，CentOS7，Python3.7.1.
集群已经用ambari搭建好了Hadoop生态。

pyspark的安装

由于目标集群已经安装好了spark，因此这里只需要配置环境变量即可。
下面的操作，在spark的master机器上做即可。
在/etc/profile最后加上:

export SPARK_HOME=/usr/hdp/current/spark2-client
export PATH=$SPARK_HOME/bin:/usr/local/python3/ext_pkg/pandoc-2.4/bin:$PATH

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

栖悦

关注关注

0
点赞
踩
5

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

(Spark系列一)Pycharm远程连接服务器并调试Spark程序

qq_42292654的博客

11-27

649

背景介绍之前使用Java远程对MapReduce编程时，只需要服务器配置好地址映射,本地建立Maven项目并导入相关配置项,同时建立好本地Hadoop环境就可以远程提交任务到NameNode了,但是Spark任务我找了大部分文献貌似都不能这么去提交任务~~，于是就利用Pycharm去连接服务器并提交任务项目要求 1.专业版Pycharm 学生免费使用~ 2.服务器上已经搭建好了相关环境 ...

Windows 上面搭建 Spark + Pycharm/idea scala/python 本地编写Spark程序，测试通过后再提交到Linux集群上

CLHugh的博客

07-06

4537

Windows 上面搭建 Spark + Pycharm/idea scala/python 本地编写Spark程序，测试通过后再提交到Linux集群上

1 条评论您还未登录，请先登录后发表或查看评论

PyCharm+PySpark远程调试的环境配置的方法

09-19

今天小编就为大家分享一篇PyCharm+PySpark远程调试的环境配置的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

PyCharm远程连接Spark

ruth13156402807的博客

07-22

1598

PyCharm远程连接Spark 使用PyCharm连接远程服务器，总结一下完善的步骤。连接前一定要保证集群已经可以运行pyspark程序 1、添加SFTP连接找到菜单Tool ->Deployment -> Configuration设置sftp 点击左上角的+号，添加新的SFTP连接输入需要SFTP的名称， “testSpark” 注意，不要勾选Visible only for this project。根据自己的需求填写host、username、password，然后点击Tes

使用PyCharm连接虚拟机运行spark任务，本地开发：远程提交测试

最新发布

weixin_63297999的博客

11-06

611

在本地写代码，右键运行，将代码自动提交到集群上。spark是Standalone集群。

PyCharm 远程连接linux中Python 运行pyspark

HuFeiHu

01-05

5743

PySpark in PyCharm on a remote server 1、确保remote端Python、spark安装正确 2、remote端安装、设置 vi /etc/profile 添加一行：PYTHONPATH=SPARKHOME/python/: SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip source /etc/profile

pycharm 远程连接运行pyspark

weixin_42529756的博客

02-28

1094

pycharm 新建项目，添加如下远程 ssh interpreter 解释器，输入连接要连接的host 和username 将linux 中spark 下的pyspark 复制到python 中由于是spark2.0 因此只支持python3.5以下 cp -r /home/software/spark-2.0.1-bin-hadoop2.7/python/pyspark /usr/local/python3.5/lib/python3.5/site-packages/ ...

Pycharm远程连接Spark（超详细图文教程）

a805814077的博客

07-17

8301

windowns本地Pycharm远程连接服务器上的Spark集群的超详细图文教程！！！

PyCharm环境搭建全攻略：从零开始的项目管理方法

![PyCharm测试框架的配置与使用]... PyCharm环境搭建基础 ## 1.1 安装PyCharm 在开始使用PyCharm前，首先需要下载并安装这个强大的IDE。访问JetBrains官网，下载适合您操作系统的PyCharm版本。安装过程中请确保

PyCharm中的Docker集成秘籍：简化数据处理环境配置的终极指南

在现代开发环境中，PyCharm与Docker的组合已成为许多开发者日常工作流的一部分。本章节旨在为不熟悉PyCharm或Docker的读者介绍这两个工具的基础知识，并阐述它们如何一起工作以提高开发效率和项目可移植性。 ## 1.1...

libffi-devel-3.1-22.el8.x86_64.rpm

12-05

离线安装包，亲测可用

libgcc1-6.3.1-alt2.x86_64.rpm

12-13

libgcc1-6.3.1-alt2.x86_64.rpm 直接下载使用，无需安装

记搭建pycharm远程连接spark的艰难过程

weixin_56786688的博客

10-15

3354

py4j.protocol.Py4JError: org.apache.spark.api.python.PythonUtils.isEncryptionEnabled does not exist in the JVM，ModuleNotFoundError: No module named '_ctypes'

Mac pycharm 导入pyspark

大师兄你家猴跑啦的博客

03-22

1885

转载于：点击打开链接1 前提：已经安装了pycharm，下载了spark（官网下载，我下的是spark-2.1.1-bin-hadoop2.7.tgz，解压缩后为文件夹spark-2.1.1-bin-hadoop2.7，我将文件放在了/Applications/spark/下，这个文件夹里面有python文件，python文件下还有两个压缩包py4j-some-version.zip和pyspar...

spark调用python程序包_pycharm编写spark程序，导入pyspark包的3中实现方法

weixin_39524842的博客

12-06

328

一种方法：File --> Default Setting --> 选中Project Interpreter中的一个python版本-->点击右边锯齿形图标(设置)-->选择more-->选择刚才选中的那个python版本-->点击最下方编辑(也就是增加到这个python版本下)-->点击➕-->选中spark安装目录下的python目录--&gt...

pycharm的安装卸载，激活与远程调试

zz2230633069的博客

01-06

643

安装：https://blog.csdn.net/qq_15192373/article/details/81091278 pycharm专业版的激活：https://blog.csdn.net/u014044812/article/details/78727496 远程调试https://blog.csdn.net/ll641058431/article/details/53049453 ...

python应用中调用spark_使用Pycharm开发Spark应用程序（以WordCount为例）

weixin_39531229的博客

11-30

572

本篇博客将给大家介绍怎么在PyCharm上编写运行WordCount程序。第一步下载安装PyCharm下载PycharmPyCharm的下载地址（Linux版本）。下载完成后你将得到一个名叫：pycharm-professional-2018.2.4.tar.gz文件。我们选择的是正版软件，学生可申请免费使用。详细信息请百度。安装PyCharm执行以下命令解压文件：cd ~/下载tar -xvf...

Win10下用Pycharm调试spark任务

全世界的博客

11-13

679

Win10下用Pycharm调试spark任务将spark包解压 spark-2.3.1-bin-2.6.0-cdh5.7.0.tgz pycharm的edit configurations中编辑环境变量添加PYTHONPATH（指向第一步spark解压后文件夹中的python目录）添加SPARK_HOME（指向第一步压缩后的spark目录）在File -> settings中的Pr...

PyCharm远程开发与调试指南

"这篇教程主要讲解了如何使用PyCharm进行远程开发和调试Python应用程序，特别是在遇到本地开发环境无法复现线上问题时，如何通过远程调试来定位问题。" PyCharm作为一款强大的Python集成开发环境，提供了远程调试...