使用PyCharm配置Spark的Python开发环境

最新推荐文章于 2024-05-03 11:51:41 发布
最新推荐文章于 2024-05-03 11:51:41 发布
阅读量1w 收藏 12
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ydc321/article/details/78903240
版权
本文详细介绍了如何在PyCharm中配置Spark的Python开发环境，包括安装Python和PyCharm，安装py4j，配置环境变量，以及在PyCharm中编写Spark程序。确保安装py4j以解决运行时错误，并通过设置环境变量SPARK_HOME和PYTHONPATH来正确引导Spark。最后，通过将pyspark导入Python的site-packages目录，实现代码提示和补全功能。
摘要由CSDN通过智能技术生成

网址1：http://blog.tomgou.xyz/shi-yong-pycharmpei-zhi-sparkde-pythonkai-fa-huan-jing.html

网址2：http://itgrocery.cn/2017/03/01/%E5%88%A9%E7%94%A8-PyCharm-%E6%90%AD%E5%BB%BA-Spark-%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83/

安装Python和PyCharm

由于我使用的系统是mac OS Serria，它自带了Python环境，所以无需安装，如果使用的Windows开发的同学，可以自行百度安装教程，我之前安装过，应该比较简单。

PyCharm是一款Python开发的IDE，使用过Intelij IDEA的同学应该很容易上手，这两款IDE是一家公司出品的。mac OS和Windows上面的安装都比较简单，下载安装包傻瓜式安装便可。

安装py4j

因为Spark的Python版本的API依赖于py4j，如果不安装运行程序会抛出如下错误。

  • 安装pip

因为mac OS和Windows的安装方法各部相同，我只说一下我在mac OS上面安装的过程，因为安装这些目录需要读写系统的目录，所以安装时都需要在安装的命令前加上sudo。 先下载get-pip.py文件，下载的文件在当前shell所在的目录


 



                

        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  佛空如水
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    1
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    12
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  3
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      










                



	

		

			

				
					
Mac python安装spark

				
			

			

				

					Monster_ixx的博客
				

				

					05-28
					
					1129
					
				

			

		

		

			
				
首先我们需要到官网上下载spark
官网链接：https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz
这里下载速度比较慢，建议科学上网
其次我们需要把下载下来的安装包拷贝到/usr/local目录下
sudo mv spark-2.3.0-bin-hadoop2.7.tgz /usr...

			
		

	



                

              
                



	

		

			

				
					
PyCharm配置Spark开发环境

				
			

			

				

					xiaocong1990的博客
				

				

					12-20
					
					5075
					
				

			

		

		

			
				
mac版
伪分布式
首先安装py4j


在 ~/.bash_profile 里添加:
#Spark environment configs
export SPARK_HOME=/usr/local/Cellar/apache-spark/1.6.0/libexec
export PATH=$PATH:${SPARK_HOME}/bin

#Python environment con

			
		

	



                


  
              

                


	

		

			

				
					
Python大数据之PySpark(三)使用Python语言开发Spark程序代码_windows spark python

					
最新发布

				
			

			

				

					2401_84181704的博客
				

				

					05-03
					
					945
					
				

			

		

		

			
				
需求：[(‘Spark’, 2), (‘Flink’, 1), (‘hello’, 3), (‘you’, 1), (‘me’, 1), (‘she’, 1)]共识：Spark核心或灵魂是rdd，spark的所有操作都是基于rdd的操作。(img-UqzBzusB-1714708250873)](img-GqIYRatA-1714708250873)](img-ElhTJUyj-1714708250873)]排序：[ (‘hello’, 3),(‘Spark’, 2),]

			
		

	





	

		

			

				
					
PyCharm搭建Spark开发环境

				
			

			

				

					chaoliao2466的博客
				

				

					09-02
					
					770
					
				

			

		

		

			
				
　　1.安装好JDK　　下载并安装好jdk-12.0.1_windows-x64_bin.exe，配置环境变量：　　新建系统变量JAVA_HOME，值为Java安装路径　　新建系统变量CLASSPATH，值为 
.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;(注意最前面的圆点)　　配置系统变量PATH，添加 %JAVA_...

			
		

	



		

			
		



	

		

			

				
					
Mac上pycharm集成pyspark

				
			

			

				

					anshenwa4859的博客
				

				

					12-17
					
					293
					
				

			

		

		

			
				
前提：
　　1.已经安装好spark。我的是spark2.2.0。
　　2.已经有python环境，我这边使用的是python3.6。

一、安装py4j
使用pip，运行如下命令：
　　

pip install py4j

使用conda，运行如下命令：

conda install py4j

二、使用pycharm创建一个project。
创建过程...

			
		

	





	

		

			

				
					
Mac下安装spark，并配置pycharm-pyspark完整教程

				
			

			

				

					shiyutianming的博客
				

				

					08-21
					
					9502
					
				

			

		

		

			
				
最近在学spark,先学习在Mac上安装spark，然后由于本人经常用Python，所以还要配置一下pyspark+pycharm,网上的教程大多不全，现将本人搭建的完整过程分享如下。

参考：

https://www.cnblogs.com/ostrich-sunshine/p/8414677.html

https://www.jianshu.com/p/31c7f6a5fc7e

http...

			
		

	





	

		

			

				
					
如何使用pycharm连接Databricks的步骤详解

				
			

			

				

					09-24
				

			

		

		

			
				
在本教程中，我们将深入探讨如何使用PyCharm连接到Databricks集群，这是一个流行的集成开发环境（IDE）与大数据处理平台的结合。通过遵循以下步骤，开发者可以在本地PyCharm环境中编写、测试和调试Spark应用程序，而...

			
		

	





	

		

			

				
					
基于Spark大数据环境开发的一个二手房分析和预测系统python源码

				
			

			

				

					04-17
				

			

		

		

			
				
开发软件环境： Spark大数据平台 + PyCharm + Python3.7 + Scrapy爬虫 + 机器学习算法线性回归预测 数据库：mysql 5.7（一定要5.7版本） 网站框架：flask后端 + vue前端 + 大屏展示

			
		

	





	

		

			

				
					
Python库 | dbnd-spark-0.46.4.tar.gz

				
			

			

				

					03-02
				

			

		

		

			
				
5. **集成开发环境（IDE）支持**：`dbnd-spark`与常见的Python IDEs（如PyCharm、VSCode等）兼容良好，开发者可以在熟悉的环境中进行开发和测试，提高生产力。  6. **版本控制**：库本身支持版本控制，0.46.4版可能...

			
		

	





	

		

			

				
					
airflow-boilerplate:用于使用Airflow的完整开发环境设置

				
			

			

				

					05-19
				

			

		

		

			
				
气流样板根据，一个完整的开发环境设置可以与Airflow一起使用。 如果您有兴趣了解此设置背后的想法和过程，请阅读本文。 否则，如果您想立即动手操作，则可以跳过它，而只需按照以下说明进行操作即可。 该样板工具比...

			
		

	





	

		

			

				
					
pycharm连接spark

				
			

			

				

					weixin_71010295的博客
				

				

					03-28
					
					3392
					
				

			

		

		

			
				
pychrm连接spark

			
		

	





	

		

			

				
					
3. pycharm配置pyspark

				
			

			

				

					ant的博客
				

				

					01-07
					
					3638
					
				

			

		

		

			
				
pycharm配置运行pyspark

1. 安装pycharm

2. 配置

3. 测试

 

 

1. 安装pycharm

官网下载pycharm：https://www.jetbrains.com/pycharm/

下载 pycharm-community-2018.3.2.tar.gz

解压：可以bash，也可以右键归档管理器提取

此时进入bin目录 ./pycharm.sh...

			
		

	





	

		

			

				
					
Pycharm通过SFTP远程连接Spark

				
			

			

				

					博弈星宇
				

				

					03-04
					
					2050
					
				

			

		

		

			
				
参考：https://daniel.blog.csdn.net/article/details/107415130

1.添加SFTP连接

选择 Tools => Deploment => Configuration。



2. 在Deployment界面中，设置Connection、Mapping的配置。

Connection 配置：



Mapping配置：



2.添加SSH Interpreter



3.Project Structure



4.启动设置

...

			
		

	





	

		

			

				
					
PyCharm远程连接Spark

				
			

			

				

					ruth13156402807的博客
				

				

					07-22
					
					1379
					
				

			

		

		

			
				
PyCharm远程连接Spark
使用PyCharm连接远程服务器，总结一下完善的步骤。连接前一定要保证集群已经可以运行pyspark程序
1、添加SFTP连接
找到菜单Tool ->Deployment -> Configuration设置sftp

点击左上角的+号，添加新的SFTP连接

输入需要SFTP的名称， “testSpark”

注意，不要勾选Visible only for this project。根据自己的需求填写host、username、password，然后点击Tes

			
		

	





	

		

			

				
					
以hdfs上文件或者本地文件作为输入在Pycharm中运行spark程序代码示例

				
			

			

				

					helloxiaozhe的博客
				

				

					11-07
					
					1634
					
				

			

		

		

			
				
以hdfs上文件或者本地文件作为输入在Pycharm中运行spark程序，并将计算结果保存到hdfs上的python代码示例（1）准备输入数据文件：准备输入数据文件2017-11-01.txt和2017-11-10.txt，每行每个字段以"\t"分割，行之间用换行符分割，并上传到hdfs上/input目录下。内容如下：localhost:experiment_data a6$ more 2017-...

			
		

	





	

		

			

				
					
mac下单机版 kafka + spark + python搭建与实例

				
			

			

				

					TcD的博客
				

				

					01-13
					
					1309
					
				

			

		

		

			
				
kafka＋zookeeper

不提供spark安装，这里从kafka安装开始 
首先下载kafka和zookeeper



brew install zookeeper

等它安装完毕，先进入zookeeper文件夹，往往在/usr/local/Cellar下，启动zookeeper：



cd /usr/local/Cellar/zookeeper/3.4.6_1/bin 
zkServ

			
		

	





	

		

			

				
					
Mac 搭建spark开发环境

				
			

			

				

					python_tty的专栏
				

				

					05-31
					
					7950
					
				

			

		

		

			
				
1.安装jdk 
jdk下载地址 
然后一步一步安装jdk就可以了。 
检测jdk是否安装成功: 
java -version 
 
2.安装scala 
Scala下载地址 
解压Scala包 
配置.bash_profile 文件，没有就重建一个 
 
export SCALA_HOME=你自己的scala的安装目录/scala-2.12.2/ 
export PATH=PATH:PATH:SC

			
		

	





	

		

			

				
					
Mac平台上Spark和PySpark的安装

				
			

			

				

					viviuolo的博客
				

				

					04-15
					
					834
					
				

			

		

		

			
				
基于python3和pip3已安装的基础上：


官网下载并安装jdk（https://www.oracle.com/java/technologies/javase-downloads.html），跟着默认步骤走就可以


下载spark（(http://spark.apache.org/downloads.html）
        下载完成后解压并移动到/usr/local文件夹。
sudo...

			
		

	





	

		

			

				
					
spark 使用python语言操作（基于pycharm的安装使用）

				
			

			

				

					weixin_56572337的博客
				

				

					05-17
					
					4072
					
				

			

		

		

			
				
spark 使用python操作（基于pycharm的安装使用）

			
		

	





	

		

			

				
					
pycharm配置spark运行环境

				
			

			

				

					03-15
				

			

		

		

			
				
PyCharm是一款功能强大的Python集成开发环境（IDE），可以方便地配置和管理Spark运行环境。下面是配置PyCharm与Spark的步骤：  1. 安装Java Development Kit（JDK）：首先，确保你已经安装了JDK。你可以从Oracle官网...

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		
评论 3

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值