SparkSQL创建RDD：Window算子【文字说明+关键代码】

最新推荐文章于 2023-10-17 08:49:17 发布

道法—自然

最新推荐文章于 2023-10-17 08:49:17 发布

阅读量596

点赞数

本文链接：https://blog.csdn.net/wyqwilliam/article/details/81435496

版权

本文深入探讨了如何在SparkSQL中运用Window算子进行复杂的数据处理。通过实例，详细解释了Window函数的定义、使用方法，包括rank()、row_number()、lead()和lag()等，展示了它们在数据排序、分组及计算累计和等场景的应用，帮助读者掌握在大数据环境中进行高效分析的技巧。

摘要由CSDN通过智能技术生成

package com.bjsxt.sparkstreaming;

import java.util.Arrays;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.streaming.Durations;
import org.apache.spark.streaming.api.java.JavaDStream;
import org.apache.spark.streaming.api.java.JavaPairDStream;
import org.apache.spark.streaming.api.java.JavaReceiverInputDStream;
import org.apache.spark.streaming.api.java.JavaStreamingContext;

import scala.Tuple2;

/**
 * 基于滑动窗口的热点搜索词实时统计
 * @author root
 *
 */
public class WindowOperator {
	
	public static void main(String[] args) {
		SparkConf conf = new SparkConf()
				.setMaster("local[2]")
				.setAppName("WindowHotWord"); 
		
		JavaStreamingContext jssc = new JavaStreamingContext(conf, Durations.seconds(5));
		/**
		 * 设置日志级别为WARN
		 *
		 */