spark读取redis数据（交互式，scala单机版，java单机版）

最新推荐文章于 2024-09-01 08:50:54 发布

靖-Drei

最新推荐文章于 2024-09-01 08:50:54 发布

阅读量1.2w

点赞数

分类专栏： spark redis 文章标签： spark redis

本文链接：https://blog.csdn.net/sundujing/article/details/51480085

版权

本文详细介绍了如何通过交互式方式使用Spark读取Redis数据。首先，在Redis中添加数据，然后将Jedis库添加到Spark的lib目录并启动Spark服务。接着，展示了在Scala和Java单机版中如何读取Redis数据并进行处理，提供了各自的输出结果。

摘要由CSDN通过智能技术生成

交互式

第一步：向redis中添加数据
这里写图片描述
第二步：将jedis jar包放入~/lib目录下，开启spark服务

第三步：通过spark-shell读取redis数据，并做相应处理

scala单机版

package com.test

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

import redis.clients.jedis.Jedis

object RedisClient {
  def main(args: Array[String]) {

    val conf = new SparkConf()
    conf.setAppName("wow,my first spark app")
    conf.setMaster("local")
    val sc = new SparkContext(conf)
    var jd = new Jedis("172.1