1. 参考官方文档配置DataX访问OBS
DataX对接OBS_对象存储服务 OBS_最佳实践_大数据场景下使用OBS实现存算分离_对接大数据组件_华为云
2. 使用ECS的委托的方式
修改官方文档里的如下配置
"hadoopConfig": {##此部分hadoop配置必须添加
"fs.obs.impl": "org.apache.hadoop.fs.obs.OBSFileSystem",
"fs.obs.access.key": "可访问OBS的ak",
"fs.obs.secret.key": "可访问OBS的sk",
"fs.obs.endpoint": "OBS桶所在region"
}
为
"hadoopConfig": {
"fs.obs.impl": "org.apache.hadoop.fs.obs.OBSFileSystem",
"fs.obs.security.provider": "com.obs.services.EcsObsCredentialsProvider",
"fs.obs.endpoint": "OBS桶所在region"
}
3. 配置ECS委托
在ECS服务器的详情界面,找到