PyTd 开源项目教程

PyTd 开源项目教程

PyTdA Python Module to make it easy to script powerful interactions with Teradata Database in a DevOps friendly way.项目地址:https://gitcode.com/gh_mirrors/py/PyTd

项目介绍

PyTd 是一个用于与 Treasure Data 进行交互的 Python 客户端。它提供了对 Treasure Data 的 REST API、Presto 查询引擎和 Plazma 主存储的友好接口。PyTd 使得从 Python 代码高效地读写大量数据到 Treasure Data 成为可能，从而简化了日常数据分析工作。

项目快速启动

安装

首先，通过 pip 安装 PyTd：

pip install pytd

创建客户端实例

设置 API 密钥和端点为环境变量 TD_API_KEY 和 TD_API_SERVER，然后创建一个客户端实例：

import pytd

client = pytd.Client(database='sample_datasets')

执行查询

在 Treasure Data 中执行 Presto 查询并获取结果：

result = client.query('select symbol, count(1) as cnt from nasdaq group by 1 order by 1')
print(result)

应用案例和最佳实践

数据分析

PyTd 非常适合用于数据分析场景，特别是在使用 pandas 和 Jupyter Notebook 时。以下是一个简单的数据分析示例：

import pandas as pd

# 从 Treasure Data 读取数据到 DataFrame
df = client.read_td_table('nasdaq', 'presto')

# 数据分析
df['cnt'] = df['cnt'].astype(int)
df = df.sort_values(by='cnt', ascending=False)
print(df.head(10))

数据导入

PyTd 还支持将数据从 DataFrame 导入到 Treasure Data：

# 创建一个 DataFrame
data = {'symbol': ['AAPL', 'GOOG', 'MSFT'], 'cnt': [100, 200, 300]}
df = pd.DataFrame(data)

# 将 DataFrame 导入到 Treasure Data
client.load_table_from_dataframe(df, 'mydb.bar', if_exists='overwrite')

典型生态项目

pandas-td

如果你之前使用的是 pandas-td，建议切换到 PyTd，因为 PyTd 提供了更高效的数据访问和兼容的功能集。以下是切换指南：

# 替换之前的 pandas-td 导入
import pytd

# 替换之前的 pandas-td 代码
client = pytd.Client(database='sample_datasets')
df = client.read_td_table('nasdaq', 'presto')

td-client-python

如果你需要执行基本的 CRUD 操作，可以使用 td-client-python。但对于数据分析和更高效的数据访问，PyTd 是更好的选择。

通过以上教程，你可以快速上手并充分利用 PyTd 进行数据分析和处理。

PyTdA Python Module to make it easy to script powerful interactions with Teradata Database in a DevOps friendly way.项目地址:https://gitcode.com/gh_mirrors/py/PyTd