Pycharm下连接hive的两种方式！！解决各种姿势报错

最新推荐文章于 2024-07-30 19:46:58 发布
最新推荐文章于 2024-07-30 19:46:58 发布
阅读量3.9k 收藏 3
点赞数
分类专栏： 知识归纳 环境搭建 信息配置 文章标签： hive python spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WCL0520/article/details/111618684
版权
本文详细介绍了在Windows环境下，使用PyCharm通过Spark连接Hive进行数据操作的步骤，包括导入hive-site.xml配置文件，添加MySQL驱动，启动Spark服务，设置环境变量，以及解决跨平台连接问题。同时提供了通过代码配置Hive metastore连接URI的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

window pycharm下用spark连接hive操作数据
一、

  1. 在/opt/soft/spark234/conf下导入hive-site.xml

二、

  1. 把mysql的驱动包mysql-connector-java-5.1.38.jar拖入/opt/soft/spark234/jars

三、

  1. sbin下 ./start-all.sh 启动spark服务
  2. bin下 ./pyspark 开启软件

四、

  1. 执行命令 df = spark.sql(“select * from dws_events.dws_temp_uf_infos
    limit 3”); df.show()

  2. 成功表示：Linux下spark连接hive成功

五、

  1. window下解压spark包
  2. 在linux下的conf下内容全部拷贝到window下的conf中
  3. 把conf下的hive-site.xml中的地址改成虚拟机的地址 在jar包中导入mysql驱动（mysql-connector-java-5.1.38.jar）

六、

  1. window下配置环境变量
  2. 创建
    SPARK_HOME
    E:\spark-2.3.4-bin-hadoop2.6 配置path路径
  3. path下 %SPARK_HOME%\bin

七、

  1. 跳过第六步 可以通过参数设置
    .config(“hive.metastore.uris”,“thrift://192.168.133.195:9083”)

八、
配置环境变量方式代码如下：


                

                
                
        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        


    


                



	

		

			

				
					
pycharm使用pyhive连接hive

				
			

			

				

					qq_34566673的博客
				

				

					11-10
					
					1828
					
				

			

		

		

			
				
导入pyhive
from pyhive import hive

if __name__ == '__main__':
    conn =hive.Connection(host="192.168.139.128",port="10000",username="root",
        database="hivereview",auth="NOSASL")
    cursor = conn.cursor()
    sql="select * from client_ext"
    curso

			
		

	



                

            
              



	

		

			

				
					
pycharm+anaconda 连接hive(python3)

				
			

			

				

					belialxing的专栏
				

				

					04-28
					
					3069
					
				

			

		

		

			
				
通过两大神器，强强联合，轻松掌握python。

1、神器一

anaconda用作包管理.(python模块管理,当然不仅限python模块包的管理)
anaconda下载地址:建议使用最新版本.
https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

2、神器二

pycharm:IDE工具(开发工具)
https://download....

			
		

	



              


  
              

                


	

		

			

				
					
PyCharm操作访问Hive

				
			

			

				

					weixin_53431582的博客
				

				

					04-13
					
					353
					
				

			

		

		

			
				
配置关键：1.Hive JDBC驱动，将驱动放在一个没有中文的路径下。2.HS2服务启动且可用。本质：Pycharm是一个Hive的客户端 ，经过JDBC协议去访问HS2服务。

			
		

	





	

		

			

				
					
pycharm如何连接hive数据库

				
			

			

				

					weixin_44675033的博客
				

				

					06-11
					
					3382
					
				

			

		

		

			
				
话不多说 上代码

pip install pyhive

from pyhive import hive

# 查询所有数据库
conn = hive.Connection(host='IP地址', username='用户名', database='数据库')
# 可以理解为鼠标
cursor = conn.cursor()
# 点击 输入查询的语句 语句跟sql一样 比葫芦画瓢就OK
cursor.execute('show databases') # 查询所有数据库
# 输出数据库的名字
for r

			
		

	



		

			
		



	

		

			

				
					
pycharm链接hive，并创建表格

				
			

			

				

					l15670130307的博客
				

				

					04-25
					
					633
					
				

			

		

		

			
				
打开pycharm左上角的file，点击设置图标就是那个小扳手。选择中文就可以了，就是那个Chinese simple。主机那里写上主机的IP地址就可以了，我的用户是root。下面演示pycharm切换中文。选择Apache Hive。首先下载pycharm。首先保持联网状态，然后。接着点击左上角的数据库。接着在相应区域写上内容。选择老师让你们下好的。

			
		

	





	

		

			

				
					
Python：Windows版本Pycharm连接Linux hive

				
			

			

				

					Joseph25的博客
				

				

					03-22
					
					1627
					
				

			

		

		

			
				
作为一个python菜鸡，任何一个步骤都不能放过，就怕后续遇到同样的问题无从下手

1，我用的是hadoop2.7，spark-2.4.5-hadoop2.7，Anaconda3.6，Pycharm专业版

2，将hive-site.xml，core-site.xml，hdfs-site.xml，yarn-site.xml，mapped-site.xml放到%Spark_HOME%conf/

3...

			
		

	





	

		

			

				
					
idea（pycharm）连接hive问题汇总

				
			

			

				

					qq_40273172的博客
				

				

					07-22
					
					2022
					
				

			

		

		

			
				
idea 连接hive各种报错解决。

			
		

	





	

		

			

				
					
解决python3 Pycharm上连接数据库时报错的问题

				
			

			

				

					12-23
				

			

		

		

			
				
使用pyCharm+python3+pyMysql+mysql5.56 数据库连接：  connect = pymysql.Connect(host='localhost',port=3333,user='root',passwd='root',db='circle',charset='utf-8'); 最后查看发现，在数据库连接时不需要编码...

			
		

	





	

		

			

				
					
如何解决pycharm调试报错的问题

				
			

			

				

					09-16
				

			

		

		

			
				
在使用PyCharm进行Python项目开发时，遇到调试报错是一种常见的问题，这可能是由多种因素导致的。本文将深入探讨这些原因，并提供相应的解决方案。  首先，一个常见的报错原因可能是包名或文件名与Python的内置模块...

			
		

	





	

		

			

				
					
解决PyCharm同目录下导入模块会报错的问题

				
			

			

				

					09-20
				

			

		

		

			
				
总结来说，当遇到PyCharm同目录下导入模块报错的问题时，应检查并确认模块所在的目录是否已被标记为“Sources Root”。如果是在不同目录间导入，可以通过调整sys.path来解决问题。确保对Python的模块导入机制有清晰...

			
		

	





	

		

			

				
					
pycharm通过跳板机链接hive数据库

				
			

			

				

					qq_15821487的博客
				

				

					09-06
					
					491
					
				

			

		

		

			
				

			
		

	





	

		

			

				
					
Python连接Hive实例教程

				
			

			

				

					yqj234的专栏
				

				

					08-07
					
					2930
					
				

			

		

		

			
				
1        经在网络查询相关的教程，发现有好多的方式，发现连接底层用的的驱动基本都是pyhive和pyhs2两种第三方库的来连接的 hive,下面将简介连接hive的驱动程序方式，开发工具：pycharm  ，经过测试已成功，分享给大家，有什么问题，可私信与我。

			
		

	





	

		

			

				
					
Python连接hive

				
			

			

				

					zomrev的博客
				

				

					05-30
					
					1063
					
				

			

		

		

			
				
使用pyhive连接hive后，可以直接保存为数据框


import sys
import pandas as pd
from pyhive import hive


username = 'xxx'  
password = 'yyy'  
queue = '队列名'

conn = hive.connect(
    host='#ip',
    port=9999,
    usern...

			
		

	





	

		

			

				
					
大数据单机学习环境搭建(10)Pycharm中操作spark和hive

				
			

			

				

					LMTX069的博客
				

				

					05-20
					
					3516
					
				

			

		

		

			
				
目录1.环境准备2.Pycharm连接Hive3.Pycharm执行py脚本3.1SparkSql操作数据的方式3.2一个完整的pyspark脚本
1.环境准备
需要提前准备Hadoop、Hive、Spark和Anaconda，以及Pycharm连接Linux的Anaconda环境，具体见本人如下相关文章。
Hadoop本地单节点安装
Linux使用yum安装Mysql
Hive单节点安装和启用
Spark单节点安装与pyspark使用
Linux单节点Anaconda安装和Pycharm连接
另外，还可以

			
		

	





	

		

			

				
					
PySpark 连接Hive

				
			

			

				

					
				

				

					05-14
					
					8628
					
				

			

		

		

			
				
文章目录简介环境搭建与效果演示更细节的搭建方法搭建HDFS、Spark或hive的前提已经有了远程可访问的测试集群搭建hadoop2.7.2修改hadoop配置格...

			
		

	





	

		

			

				
					
【python 连接hive】python 连接hive

				
			

			

				

					赖德发的博客
				

				

					08-03
					
					2091
					
				

			

		

		

			
				
一、需要安装模块

pip install sasl
pip install thrift
pip install thrift-sasl
pip install pyhive

Thrift，sasl 要求最新版本

二、代码模块

# -*- encoding=utf-8 -*-
import time
time1=time.time()
import pandas as pd
from py...

			
		

	





	

		

			

				
					
运行spark任务操作hive时报错

				
			

			

				

					心动的博客
				

				

					07-30
					
					262
					
				

			

		

		

			
				
将集群上面的/opt/installs/hadoop3.1.4/etc/hadoop/目录下的hdfs-site.xml中添加下面代码。注意将分布式集群上的都需要更改！

			
		

	





	

		

			

				
					
005 python连接hive

				
			

			

				

					wz_cmyc的博客
				

				

					08-12
					
					435
					
				

			

		

		

			
				
python 连接hive

			
		

	





	

		

			

				
					
python3.5 连接hive（hive有密码并且集群Kerberos认证） 基本使用 pyhive

				
			

			

				

					weixin_41734687的博客
				

				

					11-10
					
					5211
					
				

			

		

		

			
				
1.安装相关依赖
目前python3连接hive的方法主要是使用pyhive包，但是要安装pyhive也不是那么容易的事情，因为pyhive要使用系统底层模块，所以就要先安装对应的模块。
sudo yum install cyrus-sasl-devel
sudo yum install gcc-c++

pip3 install sasl
pip3 install thrift
pip3 ins...

			
		

	





	

		

			

				
					
pycharm 连接hive

					
最新发布

				
			

			

				

					01-16
				

			

		

		

			
				
### 如何在 PyCharm 中配置 Hive 连接

#### 配置环境变量与安装必要库
为了使 Python 能够通过 PyCharm 正确连接到 Hive 数据库，需要先确保环境中已经正确设置了 Hadoop 和 Hive 的路径，并且安装了 `pyhive` 库。可以通过 pip 安装命令来获取该库：

```bash
pip install pyhive
```

对于 Windows 用户来说，在某些情况下还需要额外下载并设置好对应的 JDBC jar 文件[^3]。

#### 编写连接代码
下面是一个简单的例子展示怎样利用 PyHive 来建立与 Hive Server2 的连接以及执行查询语句:

```python
from pyhive import hive

if __name__ == '__main__':
    # 创建数据库连接对象
    conn = hive.Connection(
        host="192.168.111.111",
        port="10000",
        username="root",
        database="xxx_database",
        auth="NOSASL"
    )
    
    try:
        with conn.cursor() as cursor:
            sql_query = "SELECT * FROM xxx_table LIMIT 10;"
            
            cursor.execute(sql_query)
            results = cursor.fetchall()
            
            for row in results:
                print(row)

    finally:
        conn.close()
```

这段脚本展示了如何创建一个指向特定主机地址、端口号、用户名及默认使用的数据库名称的连接实例；同时也指定了认证方式为 NOSASL 协议[^1]。

#### 设置项目解释器中的自定义 JAR 包
如果遇到由于缺少必要的 Java 类而导致的问题，则可能需要向 IDE 的项目解释器里加入合适的 Hive JDBC driver 版本。具体操作是在 PyCharm 中找到项目的解释器设置页面，添加外部工具或库的位置，这里指的是之前提到过的 `/hive/lib/hive-jdbc-2.1.0.jar` 或者其他适用版本的路径。

另外需要注意的是，当涉及到 Spark 环境时，应该保证 spark-conf 目录中有正确的 hive-site.xml 文件存在以便于读取集群的相关参数配置信息[^2]。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值