一、环境配置:
需要安装包
pip install pyodps
pip install setuptools>=3.0
pip install requests>=2.4.0
因我使用的python 版本是 python3.6
因包版本和依赖包的版本问题,刚开始取数,日期字段一直报错,报错关键字如下:
options.allow_antique_date True
后面安装 包版本如下,才可以正常读取数据
pip install pyodps=0.11.0
pip install setuptools=61.2.0
pip install requests=2.28.0
二、访问dataworks 数据库读取数据
from odps import ODPS, options
# 1、连接配置
conn = ODPS(access_id='',
secret_access_key='',
project='',#需要访问项目名
endpoint='http://service.cn-beijing.maxcompute.aliyun.com/api')
#因dataworks有默认取数条数限制和速度限制,设置以下参数可以取消相关限制
conn.to_global()
options.tunnel.use_instance_tunnel = True
options.tunnel.limit_instance_tunnel = False
options.sql.settings = {'odps.sql.mapper.split.size': 3