python 访问 dataworks

最新推荐文章于 2024-08-26 14:52:05 发布

暮雨听轩

最新推荐文章于 2024-08-26 14:52:05 发布

阅读量1.6k

点赞数

文章标签： python numpy etl工程师大数据

本文链接：https://blog.csdn.net/u013817846/article/details/125937544

版权

本文介绍了使用Python访问Dataworks数据库的过程，包括环境配置中遇到的包版本问题，特别是解决日期字段报错的方法，以及成功读取数据的配置详情。

摘要由CSDN通过智能技术生成

一、环境配置：

需要安装包

pip install pyodps  
pip install setuptools>=3.0
pip install requests>=2.4.0

因我使用的python 版本是 python3.6

因包版本和依赖包的版本问题，刚开始取数，日期字段一直报错，报错关键字如下：

options.allow_antique_date True

后面安装包版本如下，才可以正常读取数据

pip install pyodps=0.11.0
pip install setuptools=61.2.0
pip install requests=2.28.0

二、访问dataworks 数据库读取数据

from odps import ODPS, options
# 1、连接配置
conn = ODPS(access_id='',
                secret_access_key='',
                project='',#需要访问项目名
                endpoint='http://service.cn-beijing.maxcompute.aliyun.com/api')

#因dataworks有默认取数条数限制和速度限制，设置以下参数可以取消相关限制

conn.to_global()
options.tunnel.use_instance_tunnel = True
options.tunnel.limit_instance_tunnel = False
options.sql.settings = {'odps.sql.mapper.split.size': 3