大数据--python远程连接Hive

最新推荐文章于 2024-09-29 09:33:41 发布
最新推荐文章于 2024-09-29 09:33:41 发布
阅读量5k 收藏 18
点赞数 2
分类专栏： 大数据 文章标签： hive 大数据 hadoop 数据仓库 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51641196/article/details/128405980
版权

步骤：

启动metastore

启动hiveserver2

使用beeline进行连接测试，查看地址等是否能够成功连接(确认无误可以跳过)

使用python连接hive

(粗暴的文件配置以及完整操作见文末)

一.启动hiveserver2

1.配置mode为http，端口为10001(默认)

<property>
  <name>hive.server2.transport.mode</name>
  <value>http</value>
</property>
<property>
      <name>hive.server2.thrift.http.port</name>
      <value>10001</value>
  </property>

  <property>
      <name>hive.server2.thrift.http.path</name>
      <value>cliservice</value>
  </property>

2.启动

启动metastore

nohup hive --service metastore &

启动hiveserver2

nohup hive --service hiveserver2 --hiveconf hive.server2.thrift.port=10001 --hiveconf hive.root.logger=INFO,console &

image

3.查看hiveserver2所在的端口

未修改hive-site的默认情况下mode为TCP，HiveServer2 在端口 10000上运行，如果想更改端口，可以通过更改hive-site.xml文件中的hive.server2.thrift.port  属性值来实现。使用hive命令进入hive命令行后使用以下命令来查看hive-site中的各种配置(格式为set 属性名)，例如：

set hive.server2.thrift.port

image

(如果设置为http协议，即文章开头的操作，则默认端口为10001，踩过坑之后把mode设置成了http，在我的电脑上tcp连接不上)

netstat -anp | grep 1000

image

4.使用jps命令来查看 HiveServer2 是否正在运行(RunJar服务)

image

5.浏览器查看

HiveServer2 还在端口 10002 (默认)上启动一个 Jetty Http 服务器，提供 Web UI。在hive连接出错时可以多看看日志中的hive日志。

如果没有在配置文件中设置启动地址的话，直接用hive所在的地址(虚拟机的地址)+10002即可访问，例如我的访问地址就是http://192.168.121.130:10002/(注意：这里很多教程直接用的localhost之类的，是因为他们的hive部署在本地)

image

假如修改地址配置，在hive-site中添加如下配置，则访问地址为http://node01:10002/(但是使用ip+端口号的形式也可以正常访问)

<property>
    <name>hive.server2.thrift.bind.host</name>
    <value>node01</value>
    <description>Bind host on which to run the HiveServer2 Thrift service.</description>
</property>

二.beeline测试连接Hive

1.启动beeline

$HIVE_HOME/bin/beeline

image

2.连接hive

(1)使用地址连接

连接地址直接把浏览器访问地址的10002改成10001即可，注意后面要加上hive的数据库，例如default，这里使用了之前创建好的study数据库。后面的一大串字符也是必要的，在python连接时都要加入(对于我的操作来说)

!connect jdbc:hive2://192.168.121.130:10001/study;transportMode=http;httpPath=cliservice

image

会提示user not allowed to XXX，这个是权限设置什么什么的，具体的感兴趣可以自行搜索报错，这里直接给出解决方案：在每台虚拟机的hadoop的配置文件/etc/hadoop/core-site.xml中增加如下配置，三台都要重启生效

<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

(2)直接默认连接

在不清楚连接的Hive地址时，通过以下命令连接，然后按照提示输入用户名和密码即可(连接的用户名和密码在hive的hive-site.xml文件中设置，见Hive部署这篇文章)，这里因为没有在配置文件中设置metastore的位置，因此会有警告。

!connect jdbc:hive2://

image

image

添加metastore配置

在hive的hive-site.xml中添加以下内容，(属性值为空，则表示是 metastore 在本地，否则就是远程)，这里设置为虚拟机的地址以及默认的9083端口，注意修改完成后要重启。

<property>
    <name>hive.metastore.uris</name>
    <value>thrift://192.168.121.130:9083</value>
    <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
</property>

image

三.python连接hive

1.安装包

安装 pure-sasl
pip install pure-sasl
安装 thrift_sasl
pip install thrift_sasl==0.2.1 --no-deps
安装thrift
pip install thrift_sasl==0.2.1 --no-deps
安装最终的：impyla
pip install impyla
pip install thriftpy

2.python

输出study数据库中的所有表

from impala.dbapi import connect


conn = connect(host='192.168.121.130', port=10001, auth_mechanism='PLAIN', user='用户名',
               password='密码', database='study', use_http_transport='http', http_path='cliservice')
cursor = conn.cursor()
cursor.execute('show tables')
for row in cursor:
    print(row)

image

四.快速完成配置与连接

1.配置文件

(1)hive-site.xml(node01上修改)

<configuration>
<property>
    <name>hive.metastore.warehouse.dir</name>        
    <value>/user/hive_local/warehouse</value>    
</property>
<property>
    <name>hive.exec.scratchdir</name>
    <value>/tmp_local/hive</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;usessL=false</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>    
    <value>com.mysql.jdbc.Driver</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>    
    <value>MySQL@2022</value>
</property>
<property>
    <name>hive.cli.print.header</name>            
    <value>true</value>
</property>
<property>
    <name>hive.cli.print.current.db</name>
       <value>true</value>
</property>
<property>
    <name>hive.exec.mode.local.auto</name>
       <value>true</value>
</property>
<property>
  <name>hive.server2.authentication</name>
  <value>NOSASL</value>
</property>
<property>
  <name>hive.server2.use.SSL</name>
  <value>false</value>
</property>
<property>
  <name>hive.server2.transport.mode</name>
  <value>http</value>
</property>
<property>
      <name>hive.server2.thrift.http.port</name>
      <value>10001</value>
  </property>

  <property>
      <name>hive.server2.thrift.http.path</name>
      <value>cliservice</value>
  </property>
<property>
    <name>hive.metastore.uris</name>
    <value>thrift://192.168.121.130:9083</value>
    <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
</property>   
<property>
    <name>hive.server2.thrift.bind.host</name>
    <value>node01</value>
    <description>Bind host on which to run the HiveServer2 Thrift service.</description>
</property>
</configuration>

(2)core-site.xml(node01,02,03上修改)

<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://master</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/export/servers/hadoop-2.7.4/tmp</value>
</property>
<property>
    <name>ha.zookeeper.quorum</name>
    <value>node01:2181,node02:2181,node03:2181</value>
</property>
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>
</configuration>

2.连接测试

启动hiveserver2服务，在beeline上进行测试是否可以连接

#node01,02,03分别依次执行
zkServer.sh start
zkServer.sh status
hadoop-daemon.sh start journalnode

#node01执行
start-dfs.sh
start-yarn.sh
nohup hive --service metastore &
nohup hive --service hiveserver2 --hiveconf hive.server2.thrift.port=10001 --hiveconf hive.root.logger=INFO,console &
netstat -anp | grep 1000
$HIVE_HOME/bin/beeline
!connect jdbc:hive2://192.168.121.130:10001/study;transportMode=http;httpPath=cliservice

3.测试无误后执行三中的python即可

脑袋凉凉
关注
专栏目录
python连接hive_使用Python连接Hive
weixin_39822423的博客
12-08 1269
使用Python连接Hivehttp://ilanever.com/article/detail.do;jsessionid=7559A4B25D2C5D3B40506F0811C92946?a=using_hive_in_python客户端连接Hive需要使用HiveServer2。HiveServer2是HiveServer的重写版本，HiveServer不支持多个客户端的并发请求。当前Hiv...
大数据-玩转数据-hive简单应用
s_unbo的博客
01-03 396
大数据-玩转数据-hive下载安装 一、介绍： Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 各组件的基本功能 1.） 用户接口主要由三个：CLI、JDBC/ODBC和WebGUI。其中，CLI为shell命令行；JDBC/ODBC是Hive的JAVA实现，与传统数据库JDBC类似；WebGUI是通过浏览器访问Hive。 2.）元数据存储：Hive 将元数据存储在数据库中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是
超详细Python教程——Hive简介
月流霜的专栏
08-16 975
Hive是 Facebook 开源的一款基于 Hadoop 的数据仓库工具，目前由 Apache 软件基金会维护，它是应用最广泛的大数据处理解决方案，它能将 SQL 查询转变为 MapReduce（Google提出的一个软件架构，用于大规模数据集的并行运算）任务，对 SQL 提供了完美的支持，能够非常方便的实现大数据统计。说明：可以通过来了解 Hadoop 生态圈。把 HDFS 中结构化的数据映射成表。
Python知识点：如何使用Hive与PyHive进行数据仓库操作
码农超哥的博客
09-29 1350
使用Hive与PyHive进行数据仓库操作涉及多个步骤，包括Hive的安装与配置、PyHive的安装以及通过PyHive执行Hive SQL语句等。
python连接hive
pansiliang2009的博客
08-25 1117
环境 python 2.7.18。
python连接hive数据库
u012121721的博客
07-18 497
python连接hive数据库
[整理]使用Python远程连接和使用hive
yanpeng_info的博客
01-09 2021
[整理]使用Python远程连接和使用hive 参考文章 https://blog.csdn.net/Xiblade/article/details/82318294 https://stackoverflow.com/questions/40603714/hive-is-not-allowed-to-impersonate-hive https://pypi.org/project/impyla/ 远程连接hive，大致有如下几种方法： 使用beeline（基于SQLLine CLI的JDBC
【Python大数据笔记_day05_Hive基础操作】
LKL的博客
11-09 1891
Hive基础操作
apache-hive-3.1.2-bin.tar.gz
06-01
这意味着开发人员可以使用 Java 或者支持 JDBC 的任何编程语言（如 Python 的 jaydebeapi 或 Scala）来远程操作 Hive，而无需在本地安装完整的 Hive 客户端。 安装这个 JDBC 驱动时，通常将其解压后将 jar 文件复制...
Hive 自定义函数 - Java和Python的详细实现
zhsworld的博客
07-30 985
一 写在前面 Hive的自定义函数（User-Defined Functions）分三类： UDF：one to one，进一出一，row mapping。是row级别操作，类似upper、substr等 UDAF：many to one，进多出一，row mapping。是row级别操作，类似sum、min等 UDTF：one to many ，进一出多。类似：alteral view与explode实现的一行变多行 接下来写一个统计统计字段长度的UDF 二 JAVA实现 1、UDF函..
Python连接Hive数据库
二哥为啥不像程序员？
07-31 5938
import pyhive from pyhive import hive import pandas as pd import key_one class LinkHive(object): def __init__(self,host,port,username,password,database): self.host = host self.port = port self.username = username self.p
python连接hive_python如何连接hive
weixin_39959482的博客
12-03 1121
一、下载hive提供的依赖包将hive安装包下的lib/py中的文件拷贝到python的sys.path中的site_packages目录下，否则引用对应的包会报错，这个是使用hive提供的Python接口来调用hive客户端。二、安装pyhs2控制台执行命令：pipinstallpyhs2如果安装不成功，安装上面提到的依赖包就可以了。三、启动hive 的thrift确保以下服务开启，默认端口...
Python连接hive数据库小结
热门推荐
qq_40304090的博客
08-27 1万+
前言 做大数据分析及应用过程中，时常需要面对海量的数据存储及计算，传统的服务器已经很难再满足一些运算需求，基于hadoop/spark的大数据处理平台得到广泛的应用。本文介绍用python读取hive数据库的方式，其中还是存在一些坑，这里我也把自己遇到的进行分享交流。 基本情况 集团有20台服务器（其中1台采集主节点，1台大数据监控平台，1台资源监控） ...
Python连接Hive
qq_34874791的博客
05-20 478
1.安装thrift_sasl （1）报错 UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 73: ordinal not i 解决办法： vim ~/.bashrc（打开用户配置文件） 在文件最后一行添加 export LC_ALL=C 保存
Python 连接hive
wxdoop的博客
10-23 508
两种方式 pyHive impyla 第一种 需要安装以下文件包 pip install sasl pip install thrift pip install thrift-sasl pip install PyHive 在mac中使用pycharm都可以成功安装，在windows中sasl可能会安装失败。需要使用whl文件本地安装。whl文件下载地址如下https://www.lfd.u...
python 连接 hive
木下瞳的博客
04-22 222
https://juejin.im/post/5dc4fc646fb9a04ab25be021
python3连接hive数据库
最新发布
10-24
在Python 3中，我们可以使用PyHive库来连接Apache Hive数据库。以下是基本步骤： 1. **安装依赖**: 首先确保已经安装了`pyhive`和`pandas`库。如果没有，可以使用pip安装： ``` pip install pyhive pandas ``` 2. **配置连接**: 创建Hive连接需要知道数据库地址、用户名、密码以及端口。例如（这里假设默认端口是10000）： ```python from pyhive import hive conn = hive.Connection(host='your_host', port=10000, username='your_username', database='your_database', auth='LDAP' or 'PLAIN') # 根据实际情况选择认证方式 ``` 3. **建立游标**: 使用连接创建一个游标对象，用于执行SQL查询： ```python cursor = conn.cursor() ``` 4. **执行查询**: 可以像操作任何SQL数据库一样执行查询： ```python query = "SELECT * FROM your_table" cursor.execute(query) results = cursor.fetchall() # 获取所有结果 ``` 5. **处理数据**: 通常会将结果转化为Pandas DataFrame以便于分析： ```python data_frame = pd.DataFrame(results, columns=[desc[0] for desc in cursor.description]) ``` 6. **关闭连接**: 执行完所有操作后记得关闭连接： ```python cursor.close() conn.close() ```
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值