Spark 读取阿里云 MaxCompute数据源写阿里云OSS和华为云OBS

于 2024-03-15 15:54:46 发布
阅读量1.8k 收藏 38
点赞数 41
文章标签： spark 阿里云 odps
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43078951/article/details/136739381
版权

前情提要：当前Spark 版本为2.4.5写数据到阿里云OSS

1、编写Spark 代码 - 写OSS

public class SparkODPS2OSS4 {
    public static void main(String[] args) {
        SparkSession spark = SparkSession
                .builder()
                .appName("ODPS2OSS")
                // 可访问OSS的AK，SK
                .config("spark.hadoop.fs.oss.impl", "org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem")
                .config("spark.hadoop.fs.oss.accessKeyId", "*******************")
                .config("spark.hadoop.fs.oss.accessKeySecret", "**************")
                .config("spark.hadoop.fs.oss.endpoint", "oss-cn-hangzhou-internal.aliyuncs.com")
                .getOrCreate();

        try {
            // 通过SQL查询表在这里插入代码片
            Dataset<Row> data = spark.sql("select 字段 from 表名");
            // 展示数据
            data.show(20);
            // 将数据存储到OSS中
            data.toDF().coalesce(1).write().mode(SaveMode.Append).csv("oss://路径");
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            spark.stop();
        }

    }
}

编写Spark 代码 - 写OBS

public class SparkODPS2OBS {
    public static void main(String[] args) {
        SparkSession spark = SparkSession
                .builder()
                .appName("ODPS2OSS")
                // 需设置spark.master为local[N]才能直接运行，N为并发数
                .config("spark.master", "local[4]")
                .config("spark.sql.catalogImplementation", "hive")
                .config("spark.sql.defaultCatalog", "odps")
                .config("spark.hadoop.fs.obs.access.key", "********")
                .config("spark.hadoop.fs.obs.secret.key", "*********")
                .config("spark.hadoop.fs.obs.endpoint", "obs.cn-east-3.myhuaweicloud.com")
                .getOrCreate();

        try {
            // 通过SQL查询表
            Dataset<Row> data = spark.sql("select * from 表名");
            // 展示数据
            data.show(10);
            // 将数据存储到OBS中
            data.write().mode(SaveMode.Overwrite).parquet("obs://路径");
            spark.read().parquet("obs://路径").show();
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            spark.stop();
        }

    }
}

2、配置单独的依赖

2.1、先去阿里云的官网配置下载gz包

https://help.aliyun.com/zh/maxcompute/user-guide/set-up-a-linux-development-environment#section-jod-09w-n5w
在这里插入图片描述

2.2、下载之后解压目录为

在这里插入图片描述

2.3、下载之后需要再idea中手动依赖上图中的jars，操作步骤如下

在这里插入图片描述
在这里插入图片描述
这里需要把依赖的文件夹移动如图的位置，这个涉及到加载依赖相关的事情，不然会报错
在这里插入图片描述

3、在resource目录下新增odps.conf配置文件

odps.project.name=MaxCompute的项目空间
odps.access.id=*************
odps.access.key=*************
spark.hadoop.odps.cupid.eni.enable=true
spark.hadoop.odps.cupid.eni.info=cn-hangzhou:vpc-bp1rs4et9dv46cx8j2p8k
odps.end.point=http://service.cn-hangzhou.maxcompute.aliyun.com/api

4、pom文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <properties>
        <spark.version>2.4.5</spark.version>
        <cupid.sdk.version>3.3.8-public</cupid.sdk.version>
        <scala.version>2.11.8</scala.version>
        <scala.binary.version>2.11</scala.binary.version>
        <java.version>1.8</java.version>
        <maven.compiler.source>${java.version}</maven.compiler.source>
        <maven.compiler.target>${java.version}</maven.compiler.target>
    </properties>

    <groupId>org.example</groupId>
    <artifactId>spark_example</artifactId>
    <version>1.0-SNAPSHOT</version>


    <dependencies>

        <!-- https://mvnrepository.com/artifact/com.fasterxml.woodstox/woodstox-core -->
        <dependency>
            <groupId>com.fasterxml.woodstox</groupId>
            <artifactId>woodstox-core</artifactId>
            <version>6.4.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_${scala.binary.version}</artifactId>
            <version>${spark.version}</version>
            <scope>provided</scope>
            <exclusions>
                <exclusion>
                    <groupId>org.scala-lang</groupId>
                    <artifactId>scala-library</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.scala-lang</groupId>
                    <artifactId>scalap</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_${scala.binary.version}</artifactId>
            <version>${spark.version}</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-mllib_${scala.binary.version}</artifactId>
            <version>${spark.version}</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_${scala.binary.version}</artifactId>
            <version>${spark.version}</version>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>com.aliyun.odps</groupId>
            <artifactId>cupid-sdk</artifactId>
            <version>${cupid.sdk.version}</version>
            <scope>provided</scope>
        </dependency>

 		<dependency>
            <groupId>com.aliyun.odps</groupId>
            <artifactId>hadoop-fs-oss</artifactId>
            <version>${cupid.sdk.version}</version>
        </dependency>
        
        <dependency>
            <groupId>com.aliyun.odps</groupId>
            <artifactId>odps-spark-datasource_${scala.binary.version}</artifactId>
            <version>${cupid.sdk.version}</version>
        </dependency>

        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
        </dependency>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-actors</artifactId>
            <version>${scala.version}</version>
        </dependency>

        <!-- datahub streaming依赖 -->
        <dependency>
            <groupId>com.aliyun.emr</groupId>
            <artifactId>emr-datahub_${scala.binary.version}</artifactId>
            <version>1.6.0</version>
        </dependency>

        <dependency>
            <groupId>com.aliyun.datahub</groupId>
            <artifactId>aliyun-sdk-datahub</artifactId>
            <version>2.9.4-public</version>
            <exclusions>
                <exclusion>
                    <groupId>net.jpountz.lz4</groupId>
                    <artifactId>lz4</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming-kafka-0-10_${scala.binary.version}</artifactId>
            <version>${spark.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>net.jpountz.lz4</groupId>
                    <artifactId>lz4</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql-kafka-0-10_${scala.binary.version}</artifactId>
            <version>${spark.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>net.jpountz.lz4</groupId>
                    <artifactId>lz4</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>com.aliyun.odps</groupId>
            <artifactId>streaming-lib</artifactId>
            <version>3.3.8-public</version>
            <exclusions>
                <exclusion>
                    <groupId>net.jpountz.lz4</groupId>
                    <artifactId>lz4</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.scala-lang</groupId>
                    <artifactId>scala-library</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.scala-lang</groupId>
                    <artifactId>scalap</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.apache.zeppelin</groupId>
            <artifactId>spark-interpreter</artifactId>
            <version>0.8.1</version>
        </dependency>

        <!--For usage of log4j2 interface-->
        <!-- https://mvnrepository.com/artifact/org.apache.logging.log4j/log4j-core -->
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.12.4</version>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_${scala.binary.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.3</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <minimizeJar>false</minimizeJar>
                            <shadedArtifactAttached>true</shadedArtifactAttached>
                            <artifactSet>
                                <includes>
                                    <!-- Include here the dependencies you
                                        want to be packed in your fat jar -->
                                    <include>*:*</include>
                                </includes>
                            </artifactSet>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                        <exclude>**/log4j.properties</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                            <transformers>
                                <transformer
                                        implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
                                    <resource>reference.conf</resource>
                                </transformer>
                                <transformer
                                        implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
                                    <resource>
                                        META-INF/services/org.apache.spark.sql.sources.DataSourceRegister
                                    </resource>
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.3.2</version>
                <executions>
                    <execution>
                        <id>scala-compile-first</id>
                        <phase>process-resources</phase>
                        <goals>
                            <goal>compile</goal>
                        </goals>
                    </execution>
                    <execution>
                        <id>scala-test-compile-first</id>
                        <phase>process-test-resources</phase>
                        <goals>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>

5、注意！

由于hadoop使用了3.1.1 然后 阿里云官网提供的jars里面的hadoop是2.7版本，所以需要把里面的jar包都要替换掉，不然会报错，替换掉之后pom里面还要新增一个依赖，jars里面还要新增 一个jar包 commons-configuration2-2.8.0.jar
在这里插入图片描述

<!-- https://mvnrepository.com/artifact/com.fasterxml.woodstox/woodstox-core -->
        <dependency>
            <groupId>com.fasterxml.woodstox</groupId>
            <artifactId>woodstox-core</artifactId>
            <version>6.4.0</version>
        </dependency>
烧酒与墨
关注
  • 41
    点赞
  • 踩
  • 38
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
Spark读写OSS并使用OSS Select来加速查询
黑马程序员广州中心的专栏
11-12 677
Spark读写OSS 基于这篇文章搭建的CDH6以及配置，我们来使Spark能够读写OSS(其他版本的Spark都是类似的做法，不再赘述)。 由于默认Spark并没有将OSS的支持包放到它的CLASSPATH里面，所以我们需要执行如下命令下面的步骤需要在所有的CDH节点执行 进入到$CDH_HOME/lib/spark目录, 执行如下命令 [root@cdh-master spark...
模拟 IDC spark 读写 MaxCompute 实践
阿里云技术
06-28 200
现有湖仓一体架构是以 MaxCompute 为中心读写 Hadoop 集群数据，有些线下 IDC 场景，客户不愿意对公网暴露集群内部信息，需要从 Hadoop 集群发起访问云上的数据。
读取odps表数据
qq_42901339的博客
07-12 4950
前言 这是我第一次写博客，在工作的这一段时间，几乎每天都会学到新的东西，做为一个普通人，我也深感自身记忆力的 一般，所以想通过博客的方式将自己在平时工作中遇到的技术点记录下来，积累的同时也能进行分享。 问题 由于需要从odps表中读取数据，所以我一开始使用的是spark自带DataSource的API方式进行数据读取，具体代码如下： val df = spark .read ...
E-MapReduce中Spark 2.x读写MaxCompute数据
weixin_34204722的博客
02-26 676
最新的aliyun-emapreduce-sdk将MaxCompute数据以DataSource的方式接入Spark 2.x，用户可以使用类似Spark 2.x中读写json/parquet/csv的方式来访问MaxCompute. 0. DataSource a) DataSource提供了一种插件式的外部数据接入SparkSQL的方式，数据源只要实现...
使用Spark SQL读取阿里云OSS的数据
杨旭东的专栏
11-17 1162
如何使用spark sql读写阿里云OSS上的Parquet数据？
spark on maxcomputer读取dataworks表数据写入redis
weixin_47699191的博客
06-01 289
1.idea中新建maven项目，在pom文件中添加依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 ht
spark 访问阿里云OSS
独孤行风的博客
10-21 1526
IOException: No FileSystem for scheme: oss spark 阿里云 OSS
Spark 与 OSS
dinl_vin的博客
08-20 990
Spark 与 OSS 前言 因为公司使用的是阿里云全家桶,OSS基本上就是唯一的神,取代了HDFS成为统一文件系统,n多的数据也通过阿里亲儿子Flink接到了数仓,但是因为上报方偶尔一波离谱数据,似乎是在做压测? 而我们Flink开发同学图省事没有做错误处理,导致flink大姨妈的时候,重启消费数据重复(这里也看得出来所谓的Exact-Once也不是完全端到端精确,假如sink跟source没有特殊处理的话还是有重复的). spark: 你们要抓的是鲁迅flink,关我周树人spark什么事?,流批不分家
spark对接oss对象存储
xingyunyang的博客
08-05 1858
spark如何使用阿里云oss对象存储替代本地存储或者hdfs存储jar包，日志等。
在阿里云上搭建 Spark 实验平台
dengxun7056的博客
04-17 310
之前在自己的笔记本上运行 Python 代码，有些要运行一天多，一关机就前功尽弃，很不方便，所以才有租用阿里云服务器的想法，用了同学租的一台用了两天又觉得不够使，索性就自己租了三台，配置如下，三台一共约 320 块。 CPU：1核 内存：2048 MB 操作系统：Ubuntu 14.04 64位 带宽计费方式：按固定带宽 当前使用带宽：1Mbps 实例规格：ecs...
spark访问OSS文件时POM文件配置和使用方法
Toby的博客
07-07 925
1、spark如果要访问OSS文件，需要在POM.xml文件中添加一些依赖。 要添加的依赖是： （1）hadoop-jfs （2）jss-sdk-java 添加方法，在<dependencies>...</dependencies>中添加 <dependency> <groupId>org.apache.hadoop</groupId> <art
Spark 本地连接OSS
k_wzzc的博客
10-28 2098
Spark 本地连接OSS 1. 对象存储 OSS 阿里云对象存储服务（Object Storage Service，简称 OSS），是阿里云提供的海量、安全、低成本、高可靠的云存储服务。 在使用Hadoop和Spark及其周边系统来处理和分析自己的数据时，则需要创建阿里云的E-MapReduce集群进行处理。 但是有时候，我们需要在本地环境下对程序进行调试，所以 本地的Spark环境能连接OSS...
spark阿里云集群搭建
qq_43184146的博客
08-24 429
因为现阶段使用到了spark，所以就想搭建spark集群平台在阿里云上，网上找了很多资料，发现每一个人写的都不太一样，试过几次发现搭建不成功，于是自己慢慢琢磨，总结他们的经验，最后自己成功搭建，写下此篇博客，防止以后再次需要搭建时遇到问题，以下为搭建步骤。 hadoop、scala集群安装成功 下载安装 官网下载地址：http://spark.apache.org/downloads.htm...
阿里云上安装Spark2.4.5+Scala2.11.8
suzuyakeigo的博客
07-06 322
系统环境 Ubuntu16.0 安装版本 Spark2.4.5 Scala2.11.8 sbt1.3.0 安装步骤Scala安装Spark安装简单使用 Scala安装 下载 wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz 解压 tar -zxvf scala-2.11.8.tgz mv scala-2.11.8 scala 配置环境变量 export SCALA_HOME=/home/hadoop/scala expor
阿里大数据云原生化实践，EMR Spark on ACK 产品介绍
weixin_45906054的博客
06-05 202
>>>>点击上方蓝字关注我们，获取最新技术资讯开源大数据社区 & 阿里云 EMR 系列直播 第六期主题：EMR spark on ACK产品演示及最佳实践讲...
使用阿里云服务器通过docker搭建spark集群
qq_51287641的博客
07-07 713
参考文章：https://blog.csdn.net/qq_38234785/article/details/104168467 我采用的是阿里云服务器的centos，安装docker后，拉取Ubuntu镜像，配置好所需环境后commit为一个新的镜像ubuntu:spark，之后再docker run 三个ubuntu:saprk,进行搭建。 基本步骤都是按照参考文章来的，这里主要记录一下遇到的一些问题及解决方法。 问题及解决方法问题一：压缩包下载问题二： 端口问题三：参考文章中有一些小错误12问题四：h
基于阿里云服务器搭建完全分布式Hadoop集群+Hive仓库+Spark集群
TYUT__pengkai的博客
01-11 2118
使用阿里云服务器搭建完全分布式Hadoop集群、Hive数据仓库与Spark集群
阿里云oss华为云obs区别
最新发布
05-21
阿里云OSS和华为云OBS都是云存储服务，它们的区别主要在以下几个方面： 1. 品牌和市场份额：阿里云是国内云计算市场的领导者之一，市场份额较高，而华为云则是后起之秀，但在近年来快速发展，市场份额也在逐步提升...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值