centos7下python连接 hive2

最新推荐文章于 2023-09-16 20:32:36 发布
最新推荐文章于 2023-09-16 20:32:36 发布
阅读量925 收藏 1
点赞数
分类专栏： Linux 文章标签： hive2 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hust_mse/article/details/59113403
版权
本文档介绍了如何在CentOS7环境下使用Python2.7连接Hive2.3.4。首先，参照官方文档进行设置，过程中会遇到Python安装pyhs2库时缺少sasl头文件的问题。解决方法是通过yum搜索并安装sasl，然后重新安装pyhs2。最后，在PyCharm中运行官方代码并调整为个人配置，成功实现无错误连接。
摘要由CSDN通过智能技术生成

参考的基础是官方文档：
https://cwiki.apache.org/confluence/display/Hive/Setting+up+HiveServer2#SettingUpHiveServer2-WebUIforHiveServer2
我的环境：

  • python2.7
  • hive2.3.4
  • centos7 64
    根据官网，首先要安装pyh2
>pip install pyhs2

装到一半时会报错，说没有sasl 这个文件(sasl/sasl.h: No such file or directory)，那么现在必须安装这个sasl ，首先在yum中搜索

[root@localhost ~]$ yum search sasl|grep dev
cyrus-sasl-devel.i686 : Files needed for developing applications with Cyrus SASL
cyrus-sasl-devel.x86_64 : Files needed
最低0.47元/天 解锁文章
hust_mse
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Centos7部署R studio连接Hive完整步骤
Albert_Fang的博客
04-28 398
R studio连接Hive完整步骤 环境 系统为Centos 7，Hive版本为1.2.2 前提 可通过beeline连接Hive 安装步骤 1. 安装R yum -y install R 待安装完成后，在命令行输入R，查看R是否安装完成 2. 安装R Studio 下载R studio wget https://download2.rstudio.org/rstudio-server-rh...
CentOS6.5下通过Thrift使用Python连接操作hive 安装配置记录
ayw0484的博客
03-12 146
参考博客：http://blog.csdn.net/jiedushi/article/details/7531722 1. 安装Thrift 1.安装依赖库 yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-de...
Centos环境Python3使用impyla连接Hive
艾欧尼亚归我了
11-29 417
pip install pure-sasl==0.5.1 pip install thrift_sasl==0.2.1 --no-deps pip install thrift==0.9.3 pip install bitarray==0.8.3 pip install cython thriftpy==0.3.9 pip install impyla def query_hi...
基于CentOS7的hive远程模式部署
逝无痕——kaidy
02-19 1018
文章目录3台服务器部署结构一、前提条件1、确保集群中已经安装好了hadoop（2.7及以上版本）；二、安装元数据库三、安装hive1、下载hive安装包，下载地址：http://mirror.bit.edu.cn/apache/hive/hive-3.1.1/2、将下载的hive安装包放到/usr/local目录，解压缩安装包3、配置hive环境变量4、验证hive是否安装成功四、配置hive1、...
python 连接 hive数据库环境搭建
weixin_30526593的博客
08-08 490
首先需要安装以下Python 包：（我用的是Python 2） 在安装Python包之前需要安装一些依赖工具： Debian/Ubuntu: apt-get install python-dev libsasl2-dev gcc CentOS/RHEL: yum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64 ...
centos7 pyhive连接hive（基于kerberos安全验证）
07-23
CentOS 7 PyHive 连接 Hive（基于 Kerberos 安全验证） CentOS 7 PyHive 连接 Hive（基于 Kerberos 安全验证）是指使用 PyHive 库连接 Hive 服务器，并使用 Kerberos 进行身份验证。Kerberos 是一种广泛使用的身份...
centos7 pyhive连接hive（基于kerberos）.docx
10-25
### CentOS 7 使用 PyHive 连接 Hive（基于 Kerberos 认证） 在大数据处理领域，Hive 是一个常用的数据仓库工具，它允许用户通过类似 SQL 的查询语言（HQL）来处理存储在 Hadoop 文件系统中的数据。在安全环境中，...
python3.6.5基于kerberos认证的hive和hdfs连接调用方式
09-16
在本文中，我们将深入探讨如何使用Python 3.6.5版本通过Kerberos认证来连接Hive和HDFS。Kerberos是一种广泛使用的网络身份验证协议，它为不安全的网络环境提供了安全的身份验证机制。它依赖于共享密钥加密来确保通信...
使用python将大量数据导出到Excel中的小技巧分享
12-24
（1） 问题描述：为了更好地展示数据，Excel格式的数据文件往往比文本文件更具有优势，但是具体到python中，该如何导出数据到Excel呢？如果碰到需要导出大量数据又该如何操作呢？ 本文主要解决以上两个问题。 （2）...
linux python连接hive,python如何连接hive
weixin_42498989的博客
05-13 164
一、下载hive提供的依赖包将hive安装包下的lib/py中的文件拷贝到python的sys.path中的site_packages目录下，否则引用对应的包会报错，这个是使用hive提供的Python接口来调用hive客户端。二、安装pyhs2控制台执行命令：pipinstallpyhs2如果安装不成功，安装上面提到的依赖包就可以了。三、启动hive 的thrift确保以下服务开启，默认端口...
centos安装pyhive
Wingkin的博客
05-26 544
centos安装pyhive 依次执行下面操作： pip install pyhive pip install thrift pip install thrift_sasl yum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64 pip install sasl
CentOs安装pyhive
激进的蜗牛
09-11 1592
yum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64 pip install sasl pip install thrift pip install thrift-sasl pip install PyHive 以下为代码demo，功能是打印出所有表的建表语句。代码中连接的hive使用的LDAP验证方式，所...
支持hive访问的sqlalchemy库离线安装
建模分析师胡选来
08-22 1835
需要安装sqlalchemy和pyhive库。 下载wheel的命令： pip2 wheel --trusted-host pypi.douban.com -i http://pypi.douban.com/simple -r python-dependencies.txt -w packs 其中packs为wheel下载到的目录，python-dependencies.txt为要下载的库列表文件，格式如下： ----- pandas==0.23.4 numpy==1.16.0 sqlalchemy py
sqlalchemy中hive的url形式
鶸者为何战斗
01-09 4153
python中：hive://localhost:port/database?auth=XXXX php中：hive://localhost:port/database;auth=XXXX
基于CentOS的Hive安装部署与基本操作
liangzelei的博客
04-26 1518
Hive安装参考    1.Hive官网地址：http://hive.apache.org    2.官方文档查看地址：https://cwiki.apache.org/confluence/display/Hive/GettingStarted    3.下载地址：http://archive.apache.org/dist/hive/ （本例使用的是hive-1.2.1）    4.githu...
python连接hive
haveanybody的博客
09-18 3836
前言 之前在读hive数据的时候，经常使用读hdfs parquet文件的方法，虽然封装函数一样，调用起来也方便，但是总觉得不得劲，既然我需要的是hive数据，为何不直接读hive呢？刚好今天又遇到了这个问题，就花了两个小时，研究了不同的方法，mark一下，以便查阅。好了，进入正题，下面列出了两种方法，但大体上差不多，可根据需要选择。另外，还看到使用 impala 操作hive的方法，没有详细研...
Python连接Hive相关配置
最新发布
lIujunXHU的博客
09-16 1674
对应sasl.whl 包 ： sasl‑0.3.1‑cp39‑cp39‑win_amd64.whl。-- 远程模式部署metastore metastore地址 -->win_amd64:表示为驱动为windows 64位的驱动。cp39:表示为python的版本，为python 3.9。-- 存储元数据mysql相关配置 -->访问地址：http://ip:10002/-- H2S运行绑定host -->-- 关闭元数据存储授权 -->Thrift最小工作线程数。Thrift最大工作线程数。
python连接hiveserver2_连接HiveServer2传递参数的几种方式
weixin_42577735的博客
01-30 662
HiveServer2(以下简称：HS2)是Hive提供的一种jdbc服务，用户可以通过Hive自带的Beeline连接，也可以使用Java、Python或者PHP等通过jdbc的方式连接。下面以Java连接HiveServer2为例来介绍几种向Hive传递参数的方法。一、如何连接HS2连接到HS2，一般需要提供HS2的地址、端口号、连接的Hive库、用户名和密码这几个必选项，示例代码如下：Cla...
CentOS7下大数据技术栈安装教程：Hadoop、MySQL、Spark与Hive详析
"这份文档是关于大数据技术的详细安装教程，涵盖了Hadoop、Samba、Spark、MySQL、Hive和Scala在CentOS7操作系统下的安装和配置过程。" 本文档首先介绍了准备工作，强调了建立一个包含一台Master节点和两台Slave节点...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值