数据湖技术圈
本期导读 :【OSS 访问加速】第九讲
主题:Presto 如何高效查询 OSS 数据
讲师:健身,阿里巴巴计算平台事业部 EMR 技术专家
内容框架:
Presto 介绍
JindoSDK 安装
使用介绍
相关资料
直播回看链接:(9/10讲)
https://developer.aliyun.com/live/246875
1
Presto 介绍
Presto 介绍:SQL-on-Anything
为性能和规模而生
存储计算分离,没有存储
最初针对 HDFS 进行设计
原地查询,无需迁移数据
2
JindoSDK 安装
1、下载最新的 jar 包 jindofs-sdk-x.x.x.jar,然后在所有 Presto 节点安装 JindoFS SDK
下载链接:
https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindofs_sdk_download.md
cpjindofs-sdk-${version}.jar$PRESTO_HOME/plugin/hive-hadoop2/
2、配置 JindoFS OSS 实现类
3、配置 OSS Access Key
请参考:
https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindofs_sdk_credential_provider.md
4、 重启 Presto 所有服务,使配置生效
5、现在 hive catalog 即可访问 OSS
3
使用介绍
演示逻辑:
安装 JindoSDK
配置 Presto
读取鸢尾花数据集并写入 OSS
从 OSS 查询鸢尾花数据集
⭐点击文章下方阅读原文,直接观看第9/10讲视频回放,获取讲师实例讲解~
4
相关资料
下载JindoFS SDK:
https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindofs_sdk_download.md
Presto 使用 JindoSDK:
https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindosdk_on_presto.md
⭐Github链接:
https://github.com/aliyun/alibabacloud-jindofs
不错过每次直播信息、探讨更多数据湖 JindoFS+OSS 相关技术问题,欢迎扫码加入钉钉交流群!
数据湖技术圈
长按扫码关注公众号
获取最新技术资讯