【tkGo】使用Python连接Impala

本文介绍如何使用Python的impyla库连接Apache Impala,进行数据分析。Impala是一个高性能的Hadoop分析数据库,而impyla提供了一个符合DB API 2.0规范的Python客户端。通过封装类和tkinter界面,可以实现一键刷新元数据和按日统计查询,方便自动化取数和数据分析。完整代码可在GitHub上找到。
摘要由CSDN通过智能技术生成

一、背景

使用Python,打通Impala通道,实现取数自动化,或是作为数据分析的数据源。

二、Apache Impala

Impala是一个开源的,基于Hadoop的分析型数据库。

Impala可以查询存储在HDFS或者HBase中的数据。

Impala通过专用分布式查询引擎,绕过MapReduce直接访问数据,查询性能远高于Hive。

三、impyla

基于HiveServer2 实现的分布式查询引擎(如Impala、Hive)的Python客户端。

完全符合DB API 2.0(PEP 249)规范。

使用Kerberos、LDAP、SSL。

支持将数据转换为pandas的DataFrame,轻松集成到Python数据栈(如scikit-learn、matplotlib等)。

四、类封装

from impala.dbapi import connect
from impala.error import ProgrammingError
from utils.db.sql import SQL


class Impala(SQL):

    DESC_EXEC_SUCCESS = "执行成功"

    def __init__(self, host, port, database, user, password=None):
        """Impala工具类
        :param host: IP
        :param
  • 0
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值