spark streaming-基于updatestatebykey全局统计

原创 2018年04月16日 09:26:22

本文主要通过spark streaming的updatestatebykey进行单词的缓存的全局统计

import java.util.Arrays;
import java.util.List;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.streaming.Durations;
import org.apache.spark.streaming.api.java.JavaDStream;
import org.apache.spark.streaming.api.java.JavaPairDStream;
import org.apache.spark.streaming.api.java.JavaReceiverInputDStream;
import org.apache.spark.streaming.api.java.JavaStreamingContext;

import com.google.common.base.Optional;

import scala.Tuple2;

/**
 * 基于updateStateByKey算子实现缓存机制的实时wordcount程序
 * @author Administrator
 *
 */
public class UpdateStateByKeyWordCount {

   public static void main(String[] args) {
      SparkConf conf = new SparkConf()
            .setMaster("local[2]")
            .setAppName("UpdateStateByKeyWordCount");  
      JavaStreamingContext jssc = new JavaStreamingContext(conf, Durations.seconds(5));
      
      // 第一点,如果要使用updateStateByKey算子,就必须设置一个checkpoint目录,开启checkpoint机制
      // 这样的话才能把每个key对应的state除了在内存中有,那么是不是也要checkpoint一份
      // 因为你要长期保存一份key的state的话,那么spark streaming是要求必须用checkpoint的,以便于在
      // 内存数据丢失的时候,可以从checkpoint中恢复数据
      
      // 开启checkpoint机制,很简单,只要调用jssc的checkpoint()方法,设置一个hdfs目录即可
      jssc.checkpoint("hdfs://spark1:9000/wordcount_checkpoint");  
      
      // 然后先实现基础的wordcount逻辑
      JavaReceiverInputDStream<String> lines = jssc.socketTextStream("localhost", 9999);
      
      JavaDStream<String> words = lines.flatMap(new FlatMapFunction<String, String>() {

         private static final long serialVersionUID = 1L;

         @Override
         public Iterable<String> call(String line) throws Exception {
            return Arrays.asList(line.split(" "));  
         }
         
      });
      
      JavaPairDStream<String, Integer> pairs = words.mapToPair(
            
            new PairFunction<String, String, Integer>() {

               private static final long serialVersionUID = 1L;

               @Override
               public Tuple2<String, Integer> call(String word)
                     throws Exception {
                  return new Tuple2<String, Integer>(word, 1);
               }
               
            });
      
      // 到了这里,就不一样了,之前的话,是不是直接就是pairs.reduceByKey
      // 然后,就可以得到每个时间段的batch对应的RDD,计算出来的单词计数
      // 然后,可以打印出那个时间段的单词计数
      // 但是,有个问题,你如果要统计每个单词的全局的计数呢?
      // 就是说,统计出来,从程序启动开始,到现在为止,一个单词出现的次数,那么就之前的方式就不好实现
      // 就必须基于redis这种缓存,或者是mysql这种db,来实现累加
      
      // 但是,我们的updateStateByKey,就可以实现直接通过Spark维护一份每个单词的全局的统计次数
      JavaPairDStream<String, Integer> wordCounts = pairs.updateStateByKey(
            
            // 这里的Optional,相当于Scala中的样例类,就是Option,可以这么理解
            // 它代表了一个值的存在状态,可能存在,也可能不存在
            new Function2<List<Integer>, Optional<Integer>, Optional<Integer>>() {

               private static final long serialVersionUID = 1L;

               // 这里两个参数
               // 实际上,对于每个单词,每次batch计算的时候,都会调用这个函数
               // 第一个参数,values,相当于是这个batch中,这个key的新的值,可能有多个吧
               // 比如说一个hello,可能有2个1,(hello, 1) (hello, 1),那么传入的是(1,1)
               // 第二个参数,就是指的是这个key之前的状态,state,其中泛型的类型是你自己指定的
               @Override
               public Optional<Integer> call(List<Integer> values,
                     Optional<Integer> state) throws Exception {
                  // 首先定义一个全局的单词计数
                  Integer newValue = 0;
                  
                  // 其次,判断,state是否存在,如果不存在,说明是一个key第一次出现
                  // 如果存在,说明这个key之前已经统计过全局的次数了
                  if(state.isPresent()) {
                     newValue = state.get();
                  }
                  
                  // 接着,将本次新出现的值,都累加到newValue上去,就是一个key目前的全局的统计
                  // 次数
                  for(Integer value : values) {
                     newValue += value;
                  }
               
                  return Optional.of(newValue);  
               }
               
            });
      
      // 到这里为止,相当于是,每个batch过来是,计算到pairs DStream,就会执行全局的updateStateByKey
      // 算子,updateStateByKey返回的JavaPairDStream,其实就代表了每个key的全局的计数
      // 打印出来
      wordCounts.print();
      
      jssc.start();
      jssc.awaitTermination();
      jssc.close();
   }
   
}

spark streaming - kafka updateStateByKey 统计用户消费金额

场景餐厅老板想要统计每个用户来他的店里总共消费了多少金额,我们可以使用updateStateByKey来实现从kafka接收用户消费json数据,统计每分钟用户的消费情况,并且统计所有时间所有用户的消...
  • lsshlsw
  • lsshlsw
  • 2015-09-08 22:09:15
  • 3957

Spark之SparkStreaming案例-UpdateStateByKey

UpdateStateByKey操作updateStateByKey操作允许您在使用新的信息持续更新时保持任意状态。 要使用这个,你将不得不做两个步骤。 定义状态 - 状态可以是任意数据类型。 定义...
  • wuxintdrh
  • wuxintdrh
  • 2017-05-03 14:40:27
  • 2281

spark streaming updateStateByKey 用法

updateStateByKey 解释: 以DStream中的数据进行按key做reduce操作,然后对各个批次的数据进行累加 在有新的数据信息进入或更新时,可以让用户保持想要的任何状。使用这个功...
  • stark_summer
  • stark_summer
  • 2015-08-14 19:12:58
  • 41381

SparkStream:3)updateStateByKey详解

SparkStream官方文档对updateStateByKey这个函数介绍过于粗略,在网上看见了一篇不错的文章就转载了过来 在实时计算的实际应用中,有时除了需要关心一个时间间隔内的数据,有时...
  • jiangpeng59
  • jiangpeng59
  • 2016-11-24 09:27:57
  • 2179

spark updateStateByKey用法更新状态

因为本人刚开始接触大数据开发,在使用spark做开发过程遇到了一些问题,所以写下来作为笔记。 先把代码贴出来吧。(网上找的一段代码示例) 关于updateStateByKey : 1.重点:首先...
  • iris_new
  • iris_new
  • 2017-06-29 18:24:51
  • 824

Spark Streaming 的 UpdateStateByKey操作

updateStateByKey利用给定的函数更新DStream的状态,返回一个新"state"的DStream。操作允许不断用新信息更新它的同时保持任意状态。 你需要通过两步来使用它 定义状...
  • feige1990
  • feige1990
  • 2015-09-21 22:11:25
  • 1068

第93讲:Spark Streaming updateStateByKey案例实战和内幕源码

本节课程主要分二个部分: 一、Spark Streaming updateStateByKey案例实战 二、Spark Streaming updateStateByKey源码解密 第一部分: ...
  • qq_21234493
  • qq_21234493
  • 2016-05-11 07:17:43
  • 7106

SparkStreaming updateStateByKey 使用

updateStateByKey算子经常在实时计算时使用,最常见的就是wordCount类型的统计需求,那么这里使用官网并结合自己一些网上看的一些例子写的demo,如下: 官方: update...
  • qq_23660243
  • qq_23660243
  • 2016-12-22 17:14:57
  • 579

Spark Streaming updateStateByKey案例实战和内幕源码解密

本博文内容主要包括以下两个方面:1、Spark Streaming updateStateByKey案例实战 2、Spark Streaming updateStateByKey源码解密一、Spar...
  • erfucun
  • erfucun
  • 2016-08-22 17:30:23
  • 1346

Spark Streaming之updateStateByKey和mapWithState比较

Spark Streaming之updateStateByKey和mapWithState比较
  • zhanglh046
  • zhanglh046
  • 2017-11-12 10:29:40
  • 816
收藏助手
不良信息举报
您举报文章:spark streaming-基于updatestatebykey全局统计
举报原因:
原因补充:

(最多只允许输入30个字)