基于AWS Serverless的Glue服务进行ETL(提取、转换和加载)数据分析(三)——serverless数据分析

本文详细介绍了如何使用AWS Serverless架构,结合Lambda和API Gateway进行ETL数据分析。通过创建Lambda函数,利用Python3处理数据,再创建API Gateway以实现无服务器的数据操作接口。案例展示了查询特定ID在指定时间段内的数据。
摘要由CSDN通过智能技术生成

3 serverless数据分析

3.1 创建Lambda

在Lambda中,我们将使用python3作为代码语言。

步骤 图例
1、入口 在这里插入图片描述
2、创建(我们选择使用python3.7) 在这里插入图片描述
3、IAM权限(权限可信实体需要包括Lambda才能将角色绑定到Lambda上) 在这里插入图片描述见下方“IAM可信实体描述”
4、指定处理函数(处理程序要为用户程序的入口) 在这里插入图片描述
5、添加层(层为我们的代码运行时的环境,并且,兼容运行时要包含上一步中的运行时环境) 在这里插入图片描述
6、代码(在此代码中使用了boto3来连接Athena,可自定义sql,使用方法请看官方文档) 见下方“Lambda代码”

IAM可信实体描述:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "lambda.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

Lambda代码

import boto3, os, json
import pandas as pd

from pyathena import connect
impo
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值