Spark集成Redis-操作Redis数据

老一阿

于 2021-01-13 19:42:23 发布

阅读量1.2k

点赞数

分类专栏： bigdata 文章标签： spark redis

本文链接：https://blog.csdn.net/qq_39799876/article/details/112585146

版权

bigdata 专栏收录该内容

5 篇文章

订阅专栏

博客介绍了使用Spark调用Redis方法的步骤，先添加依赖，接着导入，之后进行配置，最后可通过sparkContext调用Redis方法。如fromRedisKV()方法返回RDD[(String,String)]类型的RDD，后续操作与Spark的RDD操作方法一致。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先添加依赖

    <dependency>
      <groupId>com.redislabs</groupId>
      <artifactId>spark-redis_2.11</artifactId>
      <version>2.4.2</version>
    </dependency>

然后导入

import com.redislabs.provider.redis._

这样就可以直接调用redis的方法了。

再然后配置

val session = SparkSession.builder()
      .appName("redis")
      .master("local")
      .config("spark.redis.host", "localhost") //自己redis服务所在机器的ip
      .config("spark.redis.port", "6379")//端口，redis默认6379
      .config("spark.redis.auth", "password")//如果没有密码，本行可删除
      .config("spark.redis.db","5")//数据所在redis库
      .getOrCreate()

最后

通过sparkContext调用redis的方法（方法有很多）

val sc = session.sparkContext
sc.fromRedisKV(Array("key1","key2"))//fromRedisKV()方法中可以是Array，也可以是单个字符串

fromRedisKV()方法返回的是RDD[(String,String)]类型的RDD，之后的操作和spark的rdd操作方法一致。