aws(学习笔记第三十三课) 深入使用cdk 练习aws athena

aws(学习笔记第三十三课) 深入使用cdk

• 使用cdk生成athena以及aws glue crawler

学习内容：

• 使用aws athena + aws glue crawler

---

1. 使用aws athena

1.1 什么是aws athena

aws athena是aws提供的数据分析service，可以使用SQL语言对S3上保存的数据进行分析。

• managed service，所以不需要维护。
• 基于OpenSource的框架构筑
• 基于处理的数据量进行收费
• 对数据提供加密功能
  注意 和RDB不能进行JOIN操作，所以只能提供对csv和json进行数据查询

1.2 什么是aws glue

aws glue是aws提供的managed ETL service。能够简单的进行分析数据的准备和load。table和schema关联的metadata能够作为aws glue catalog data进行保存。

1.2 为什么aws athena和aws glue一起使用

aws athena结合aws glue能够将aws glue作成的database或者schema，使用aws athena进行查询。

2. 开始练习aws athena

2.1 代码链接

代码链接aws-cdk-examples

2.2 整体架构

2.3 代码解析

2.3.1 创建测试数据的S3 bucket

 # creating the buckets where the logs will be placed
 logs_bucket = s3.Bucket(self, 'logs-bucket',
             bucket_name=f"auditing-logs-{
     self.account}",
             removal_policy=RemovalPolicy.DESTROY,
             auto_delete_objects=True
 )

2.3.2 创建保存查询结果的S3 bucket

 # creating the bucket where the  queries output will be placed
 query_output_bucket = s3.Bucket(self, 'query-output-bucket',
      bucket_name=f"auditing-analysis-output-{
     self.account}",
      removal_policy=RemovalPolicy.DESTROY,
       auto_delete_objects=True
    )

2.3.3 将示例的程序json数据文件同期到S3 bucket

# uploading the log files to the bucket as examples
  s3_deployment.BucketDeployment(self, 'sample-files',
         destination_bucket=logs_bucket