SparkStreaming之transform

最新推荐文章于 2023-08-01 07:50:01 发布

九师兄

最新推荐文章于 2023-08-01 07:50:01 发布

阅读量4.2k

点赞数

分类专栏：大数据-spark

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/80573725

版权

大数据-spark 专栏收录该内容

204 篇文章 480 订阅 ¥49.90 ¥99.00

订阅专栏

本文介绍了SparkStreaming的transform操作，该操作允许执行RDD到RDD的转换，适用于DStream上扩展自定义操作。通过一个黑名单过滤的案例展示了transform的使用，运行结果显示过滤成功。

摘要由CSDN通过智能技术生成

在这里插入图片描述

transform操作，应用在DStream上，可以用于执行任意的RDD到RDD的转换操作。他可以用于实现，DStream API中所没有提供的操作。

案例黑名单过滤

package com.llcc.sparkSql.MyTimeSort

import org.apache.spark.streaming.StreamingContext
import org.apache.spark.SparkConf
import org.apache.spark.streaming.Seconds

object TransformaDemo {
  def main(args: Array[String]): Unit = {

    val conf=new SparkConf().setMaster("local[2]").setAppName("TransformaDemo")
    val  ssc=new StreamingContext(conf,Seconds(5));
    val fileDS=ssc.socketTextStream("192.168.32.110", 9999);
    val wordcountDS=fileDS.flatMap { line => line.split("

了解本专栏