文件内容课堂总结

有状态转化操作
UpdateStateByKey
作用：用于在DStream中跨批次维护状态，适用于需要历史数据累积计算的场景（如累加WordCount）。通过跟踪每个键的状态变化，结合新流入数据更新状态值。
定义状态：状态可为任意数据类型（如整型、自定义对象），需明确状态的存储结构。
状态更新函数：通过函数定义如何利用新事件数据和历史状态生成新状态。函数接收两个参数：当前批次键关联的值集合（Seq）和历史状态（Option类型），返回更新后的状态（Option类型）。
实现要点：需为应用配置检查点目录（ checkpoint() ），通过持久化存储保障状态数据可靠性。
例如：若需统计词频，状态更新函数会将当前批次词频与历史值相加，生成新状态。
窗口操作（Window Operations）
作用：通过设定窗口时长和滑动步长，动态聚合特定时间范围内的数据，支持复杂时序分析。参数：
窗口时长：定义统计的时间窗口长度（如10秒），需为批处理间隔的整数倍。
滑动步长：控制窗口移动频率（如5秒），决定计算触发的间隔。
例如:对文本流按单词分组后，使用 reduceByKeyAndWindow 计算窗口内词频总和，参数依次为聚合函数、窗口时长、滑动步长。
DStream输出操作
作用：将DStream计算结果输出至外部系统或存储介质，触发实际计算执行。DStream采用惰性求值机制，仅定义输出操作时才会触发上游转换链的计算。