深入解析Amazon Athena：如何从AWS Athena加载数据

最新推荐文章于 2024-11-14 11:56:11 发布

dfvcbipanjr

最新推荐文章于 2024-11-14 11:56:11 发布

阅读量434

点赞数 4

文章标签： aws 云计算 python

本文链接：https://blog.csdn.net/dfvcbipanjr/article/details/142866316

版权

引言

Amazon Athena 是一种无服务器、交互式分析服务，专为处理海量数据而设计。本篇文章旨在帮助读者理解如何利用 Athena 从 AWS 数据湖及多达30个数据源进行数据分析，并提供具体的代码示例。

主要内容

Amazon Athena 简介

Amazon Athena 基于开源的 Trino 和 Presto 引擎及 Apache Spark 框架，支持多种开放表格和文件格式。它提供了一种简化、灵活的方式来分析存储在 Amazon Simple Storage Service (S3) 中的数据。无需复杂的配置，用户可以直接使用 SQL 或 Python 进行数据分析。

设置环境

为了开始使用 Athena，首先需要完成以下步骤：

创建 AWS 账户：如果没有 AWS 账户，请遵循 AWS 的注册流程创建一个账户。
安装 Boto3：Boto3 是 AWS 的 Python SDK，允许与 AWS 服务进行交互。使用以下命令安装 Boto3：
```
!pip install boto3
```

使用 AthenaLoader 加载数据

AthenaLoader 是一个社区驱动的文档加载工具，用于从 Athena 加载文档数据。

基本示例

from langchain_community.document_loaders.athena import AthenaLoader

# 使用API代理服务提高访问稳定性
database_name = "my_database"
s3_output_path = "s3://my_bucket/query_results/"
query = "SELECT * FROM my_table"
profile_name = "my_profile"

loader = AthenaLoader(
    query=query,
    database=database_name,
    s3_output_uri=s3_output_path,
    profile_name=profile_name,
)

documents = loader.load()
print(documents)

含元数据列的示例

# 使用API代理服务提高访问稳定性
database_name = "my_database"
s3_output_path = "s3://my_bucket/query_results/"
query = "SELECT * FROM my_table"
profile_name = "my_profile"
metadata_columns = ["_row", "_created_at"]

loader = AthenaLoader(
    query=query,
    database=database_name,
    s3_output_uri=s3_output_path,
    profile_name=profile_name,
    metadata_columns=metadata_columns,
)

documents = loader.load()
print(documents)