redis
文章平均质量分 79
jxx4903049
这个作者很懒,什么都没留下…
展开
-
Spark mapPartitions、map、foreachPartition、foreach算子的区别、误区和正确用法
mapPartitions、map、foreachPartition、foreach的区别 mapPartitions和map是transform算子,分别返回一个iterator迭代器和RDD。foreachPartition、foreach是action算子,无返回值。用于结果的输出操作 mapPartitions、foreachPartition中定义的是一个RDD的每一个分区的统一处理逻辑...转载 2020-03-17 16:27:44 · 737 阅读 · 1 评论 -
spark读取redis,连接池配置
package com.test.log.makefriends import redis.clients.jedis.{JedisPool, JedisPoolConfig} import scala.collection.mutable.ArrayBuffer /** * @Author: jxx * @Date: 2018/3/27 16:28 */ object RedisU原创 2018-03-28 20:05:01 · 3118 阅读 · 1 评论 -
spark 读取redis
package com.test.log.makefriends import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} import org.joda.time.{DateTime, DateTimeZone} import org.joda.time.format.DateTimeFo原创 2018-03-28 20:08:55 · 3455 阅读 · 0 评论 -
【转】Spark Streaming消费Kafka Direct保存offset到Redis,实现数据零丢失和exactly once
转自:https://www.cnblogs.com/ChouYarn/p/9512102.html 一、概述 上次写这篇文章文章的时候,Spark还是1.x,kafka还是0.8x版本,转眼间spark到了2.x,kafka也到了2.x,存储offset的方式也发生了改变,笔者根据上篇文章和网上文章,将offset存储到Redis,既保证了并发也保证了数据不丢失,经过测试,有效。 二...转载 2019-08-21 14:56:27 · 362 阅读 · 1 评论