通过pyathenajdbc访问aws athena

下面帖子的内容基于网上其它博友的帖子,原帖子的代码执行失败,估计与版本有关。在原帖子的基础上进行了修改。原帖子的链接为:aws之athena使用_weixin_43843414的博客-CSDN博客

# cat test1.py
#coding:utf-8

#Using JDBC
import os
import configparser
import pyathenajdbc

# Get aws credentials
Config = configparser.ConfigParser()
Config.read(os.path.expanduser('~/.aws/credentials'))

# 如果不设置环境变量,程序也会自动从上面所示文件中读取的;如果设置了环境变量则不会从文件读取
os.environ['AWS_ACCESS_KEY'] = Config['default']['aws_access_key_id']
os.environ['AWS_SECRET_KEY'] = Config['default']['aws_secret_access_key']

class PyAthenaLoader():

    def connect(self):
        # 网上很多帖子,connect请求参数与下面是不同的
        self.conn = pyathenajdbc.connect(
            # S3上指定一个路径,用于临时保存sql语句执行的结果,不用担心会被自动清除的
            S3OutputLocation="s3://xxx/db_log/",
            AwsRegion="ap-southeast-1"
        )

    def query(self, req):
        self.connect()

        try:
            with self.conn.cursor() as cursor:
                cursor.execute(req)
                res = cursor.fetchall()
        except Exception as X:
            return X
        finally:
            self.conn.close()
        return res

athena = PyAthenaLoader()
print(athena.query('SELECT * FROM test_db.test_table limit 10;'))

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值