spark操作redis_Spark对接Redis快速入门

简介

阿里云数据库 Redis 版(ApsaraDB for Redis)是兼容开源 Redis 协议的 Key-Value 类型在线存储服务。它支持字符串(String)、链表(List)、集合(Set)、有序集合(SortedSet)、哈希表(Hash)等多种数据类型，及事务(Transactions)、消息订阅与发布(Pub/Sub)等高级功能。通过“内存+硬盘”的存储方式，云数据库 Redis 版在提供高速数据读写能力的同时满足数据持久化需求。

主要介绍通过“数据工作台”使用Spark对接Redis数据库的使用方法。

前置条件Spark集群和Redis在同一个VPC下。

进入Spark分析集群页面，选择“数据库连接”>“连接信息”，查看Spark集群的VPC ID信息。如下图：

Redis已配置Spark集群的白名单。

首先在阿里云控制台进入“专有网络VPC”，找到Spark集群的VPC ID对应的IPv4网段。如下图：

然后进入Redis集群配置白名单，添加上述IPv4网段。如下图：

使用“数据工作台”>“作业管理”运行样例

步骤 1：通过“资源管理”上传样例代码Jar包

下载样例代码jar包“spark-examples-0.0.1-SNAPSHOT.jar”以及Redis依赖的jar包到本地目录。

wget https://spark-home.oss-cn-shanghai.aliyuncs.com/spark_example/spark-examples-0.0.1-SNAPS