AWS Athena SQL基础知识

每日小新

已于 2023-09-18 15:03:43 修改

阅读量1.1k

点赞数 1

分类专栏：每日小新-笔记篇文章标签： aws sql 云计算

于 2023-09-10 13:45:40 首次发布

本文链接：https://blog.csdn.net/llAl_lAll/article/details/132790423

版权

每日小新-笔记篇专栏收录该内容

6 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文主要介绍了AWS Athena的SQL基础知识，包括获取一年的第几周、Int转Date、根据日期判断周几等日期操作，还讲解了如何处理跨年周、解析URL以及Athena中的SQL转义字符问题。此外，还提到了Spark调优，特别是表JOIN的最佳实践，建议避免使用OR条件关联，而采用先JOIN再UNION的方式提高效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、Athena SQL 基础学习🍜

1 获取一年的第几周

select Extract(week from date'2022-12-11') as week_number
Extract(week(Sunday) from date) as week_number

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

每日小新

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

AWS RedShift实战应用SQL大全及经验分享[持续更新]

黑夜开发者的博客

04-02

1905

文章目录前言 - 关于RedShift一、数据维护篇1.1 表结构操作1.2 数据添加与查询1.3 数据修改与删除1.4 事物操作二、SQL结构篇2.1 使用with封装代码2.2 条件判断三、常用的函数篇2.3 字符串2.4 日期2.读入数据总结前言 - 关于RedShift RedShift是AWS上面使用非常广泛的离线数据仓库之一，本文就结合一些实际的经验，把一些常用的SQL查询做一些列举。在正文之前，也对这个数据仓库的一些特性做一下说明，如果大家有在选择一些数据仓库产品，不妨考虑一下合适不合适。

aws之athena使用

weixin_43843414的博客

12-26

3530

有两种方式第一种通过调用boto3使用，第二种pyathenajdbc使用，相对而言两种方式各有优劣。第一种 import boto3 import pandas as pd import io import time athena = boto3.client('athena', region_name='ap-southeast-1') s3 = boto3.client('s3') def...

参与评论您还未登录，请先登录后发表或查看评论

AthenaExpress在AmazonAthena上简化SQL查询

08-12

athena-express通过将AWS SDK中的一系列方法链接在一起，可以更轻松地在Amazon Athena上执行SQL查询。允许您在同一个同步调用中执行SQL查询和获取JSON结果 - 非常适合Web应用程序。

athena sql_使用SQL Server查询Amazon Athena外部表

culuo4781的博客

07-24

1253

athena sql This article covers the following topics: 本文涵盖以下主题： Overview of the Amazon Athena 亚马逊雅典娜概述 Query CSV file stored in Amazon S3 bucket using SQL quer...

Athena SQL优化（持续更新）

weixin_44597588的博客

06-24

807

优化join 在连接两张表时，大表在左，小表在右 When you join two tables, specify the larger table on the left side of join and the smaller table on the right side of the join. Presto distributes the table on the right to ...

Athena SQL报错：must be an aggregate expression or appear in GROUP BY clause

最新发布

Senye_ing的博客

06-21

4956

其实，我们并不能用平时在navicat、javaDao写的MySQL语句和Athena SQL相提并论。归根结底就是“Athena SQL一般是大数据查询，所以会严格。

aws sql mysql_AWS 数据库（七）

weixin_30740019的博客

01-19

746

数据库概念关系型数据库关系数据库提供了一个通用接口，使用户可以使用使用编写的命令或查询从数据库读取和写入数据。关系数据库由一个或多个表格组成，表格由与电子表格相似的列和行组成。以行列形式存储数据，行包含一个条目的所有信息，列是分离不同数据点的属性架构固定，输入数据前要先锁定列查询方式是SQL语句支持垂直扩展属性每一张表都有主键，通过引用记录的主键，表中的一条记录可以与另一个表中的记录相关。这个...

Athena-Express简化AWS上SQL查询与JSON结果获取

Athena与Presto的结合，加上AWS的无服务器和自我管理功能，使得用户可以即刻开始在S3上运行SQL查询，无需进行任何复杂的数据预处理工作，也不需要维护查询执行的基础设施。这对于数据科学家和分析师来说是一个强大的...

Uber开发的Go语言AWS Athena数据库驱动程序

1. AWS雅典娜（Athena）数据库驱动程序：这是指为AWS Athena服务提供的一个Go语言数据库驱动程序，能够使开发人员使用Go语言更方便地操作AWS Athena数据库。 2. athenareader：这个组件位于github的uber/...

掌握athena-cli：AWS Athena的高效Presto风格命令行工具

AWS Athena是一个无服务器交互式查询服务，允许用户使用标准SQL分析存储在Amazon S3上的数据。其特点在于它是完全托管的服务，无需管理和配置查询基础设施。ahtena-cli作为一个类似的Presto命令行界面工具，为AWS ...

AWS Athena 1.5.0 Python库发布

- AWS Athena是亚马逊提供的一个无服务器交互式查询服务，允许用户使用标准的SQL查询来分析存储在Amazon S3中的数据。 - Athena易于使用，无需管理和配置底层基础设施，用户仅需上传数据到S3，并在Athena中定义...

AWS与SQL server

博客

01-13

520

大数据概念与影响 1.全样而非抽样（抽取数据） 2.效率而非精确 3.相关而非因果大数据处理架构Hadoop Hadoop两大核心:HDFS+MapReduce 不同数据库比较分析: Mysql 功能较稳定强大，满足多样需求 MongoDB:数据模型较灵活，支持较多功能 HBase:具有很好的扩展性，依赖Hadoop生态环境 Redis:模型相对较为简单，可提供随机数据存储，数据库伸缩性较好 Hadoop:支持大规模数据存储的组件HDFS 支持大规模数...

一个全功能的AWS雅典娜数据库驱动程序(+ athenareader https://github.com/uber/athenadriver/tree/master/athenareader) - uber/athenadriver

01-27

:package: - A fully-featured AWS Athena database driver for Go :spiral_shell: - A moneywise command line utililty to query athena in command line. Overview (This project is a sandbox project and the development status is STABLE.) athenadriver is a fully-featured AWS Athena database driver for Go developed at Uber ATG. It provides a hassle-free way of querying AWS Athena database with Go standard library. It not only

AWS数据库简介

weixin_42230010的博客

03-08

1547

主要介绍AWS里面的数据库服务，其中包括了AWS的关系数据库、非关系数据库、数据仓库和数据缓存的概念。在我们深入了解AWS的数据库服务之前，首先让我们先来了解一下一些关于数据库的基本概念吧！

Hadoop Hive sql语法详解

weixin_30355437的博客

02-14

7099

Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户...

10 个使用 SQL 的 AWS 服务

AIwenIPgeolocation的博客

04-24

644

Amazon Web Services (AWS) 是世界上最大的云平台，拥有200 多项功能。在本文中，我们分解了 10 种至少支持某些 SQL 语法的 AWS 服务，讨论它们的用例，并举例说明如何编写查询。服务描述 SQL 支持用例 RDS Postgres、MySQL 等满的中小型网络应用极光无服务器数据库满的无服务器应用红移数据仓库满的 OLAP、PB 级数据、分析动态数据库 ..

athena(presto引擎) 转换函数

weixin_39031707的博客

11-05

1915

athena是aws的一个准实时的sql查询系统,类似于hive,做数据仓库分析的,但是其底层并不是hive,有时候hive的sql可以运行,但是在athena上就不能运行了,可能是数据格式的问题例如: select sum(price) from a.test1 这个表建表时候 price是 String类型在athena上执行就会报错需要代码改为 select sum(cast(pric...

aws waf sql注入_您可以使用aws在纸上运行sql查询吗

weixin_26720549的博客

09-02

191

aws waf sql注入Have you ever drawn some wonderful tabular data on a piece of paper and thought, “Wouldn’t it be nice if I could run an SQL query on this”?您是否曾经在纸上绘制过一些很棒的表格数据，并想过：“如果我可以对此进行SQL查询，那会不会很好？...

关于Athena使用的小结

BAStriver的博客

12-27

3924

1. 官网Api文档只有英文版的，PDF格式的在Amazon Athena Documentation PDF版，网页版的在Amazon Athena Documentation网页版。 2.官方提供了两个版本的，下载源码后可以很方便地找到example，至少大部分是可以的。 3. 在使用Athena的java api之前，首先我们需要在Athena控制台创建Database，里面的创建有操...