weixin_53285092的博客

spark中的基本流数据类型

按照这个顺序关闭 Kafka 集群可以最大程度地减少关闭过程中可能出现的问题，比如数据不一致或者服务无法正常回复。，以确保所有组件都可以优雅地关闭，避免数据丢失或损坏。这是一种实时监控 Kafka 主题消息的便捷方式。运行此命令后，控制台将开始显示从主题。：有时候一次没成功得是第二次第三次。

sparkSQL

微批处理是 Structured Streaming 默认的处理模型。微批处理 (Micro-batching):优点:缺点:持续处理是 Structured Streaming 在 Spark 2.3 版本中引入的实验性功能。在这种模型中，实时数据流被视为连续的记录流，Spark 引擎以较低的延迟（毫秒级）持续处理每条记录。持续处理 (Continuous Processing):优点:缺点:这两种模型可以用以下表格进行比较：在选择模型时，需要根据具体的应用场景、延迟要求和资源情况来决定使用哪种模型。如果

Structured Streaming简介