华为云 OBS

本文介绍了如何在线和离线安装Byzer对象存储驱动,包括通过插件添加、下载驱动并放置在Spark或Byzer目录,以及如何配置HadoopFileSystem以连接OBS服务,提供具体的API示例。
摘要由CSDN通过智能技术生成

在线安装驱动:

!plugin app add - "byzer-objectstore-obs-3.3";

离线安装驱动:

请到 Byzer 下载站 https://download.byzer.org/byzer/misc/cloud/ 下载对应的驱动,然后将其置于 ${SPARK_HOME}/jars 或者 ${Byzer_HOME}/libs 目录中。然后常规哦暖气。

你可以使用如下方式注册对象存储文件系统:


load FS.``
Where `fs.obs.endpoint`="obs.ap-southeast-3.myhuaweicloud.com"
and `fs.obs.impl`="org.apache.hadoop.fs.obs.OBSFileSystem"
and `fs.AbstractFileSystem.obs.impl`="org.apache.hadoop.fs.obs.OBSorg.apache.hadoop.fs.obs.OBS"
and `fs.obs.access.key`="xxxx"
and `fs.obs.secret.key`="xxxx"
as output;

然后你就可以使用如下语句访问该对象存储了:

load parquet.`obs://xxxxx/poc/city_temperatures`  as city_temperatures;
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

想做全栈的胖胖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值