数据湖实操讲解【OSS 访问加速】第九讲：Presto 如何高效查询 OSS 数据

数据湖技术圈

本期导读  ：【OSS 访问加速】第九讲

主题：Presto 如何高效查询 OSS 数据

讲师：健身，阿里巴巴计算平台事业部 EMR 技术专家

内容框架：

• Presto 介绍

• JindoSDK 安装

• 使用介绍

• 相关资料

直播回看链接：（9/10讲）

https://developer.aliyun.com/live/246875

1

Presto 介绍

Presto 介绍：SQL-on-Anything

• 为性能和规模而生

• 存储计算分离，没有存储

• 最初针对 HDFS 进行设计

• 原地查询，无需迁移数据

2

JindoSDK 安装

1、下载最新的 jar 包 jindofs-sdk-x.x.x.jar，然后在所有 Presto 节点安装 JindoFS SDK

• 下载链接：

  https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindofs_sdk_download.md

• cpjindofs-sdk-${version}.jar$PRESTO_HOME/plugin/hive-hadoop2/

2、配置 JindoFS OSS 实现类

3、配置 OSS Access Key

• 请参考：

  https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindofs_sdk_credential_provider.md

4、 重启 Presto 所有服务，使配置生效

5、现在 hive catalog 即可访问 OSS

3

使用介绍

演示逻辑：

• 安装 JindoSDK

• 配置 Presto

• 读取鸢尾花数据集并写入 OSS

• 从 OSS 查询鸢尾花数据集

⭐点击文章下方阅读原文，直接观看第9/10讲视频回放，获取讲师实例讲解~

4

相关资料

• 下载JindoFS SDK：

  https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindofs_sdk_download.md

• Presto 使用 JindoSDK：

  https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindosdk_on_presto.md

---

⭐Github链接：

https://github.com/aliyun/alibabacloud-jindofs

不错过每次直播信息、探讨更多数据湖 JindoFS+OSS 相关技术问题，欢迎扫码加入钉钉交流群！

---

数据湖技术圈

长按扫码关注公众号

获取最新技术资讯