嘻哈吼嘿呵的博客

一、Continuous Processing基本介绍1、介绍连续处理是Spark 2.3中引入的一种新的实验性流执行模式，它支持低延迟(~1 ms)端到端，并保证at-least-once。与默认的微批处理引擎相比，默认的micro-batch processing可以保证exactly-once语义，但最多只能实现约100ms的延迟。对于某些类型的查询(下面将讨论)，您可以选择在不修改...

1、pom.xml <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> <maven.comp...

1、Spark2.4中，StructuredStreaming目前支持的sink只有FileSink、KafkaSink、ConsoleSink、MemorySink和ForeachSink2、要使用ForeachSink自定义sink，必须实现ForeachWriter[T]()，包括open(),process(),close()三个方法：3、在每个batch中，这三个方法各调用一次，...

目录1、创建2、输入源3、操作：选择（Selection）、投射（Projection）和聚合（Aggregation）4、Join操作（1）Stream-static Joins（2）Stream-steam Joins6、不支持的操作1、创建 val sqLContext = SparkSession.builder().appName(" even...

目录1、基于事件-时间的窗口操作2、延迟数据和水印操作Event-time是嵌入到数据本身的时间，所以首先 event-time 是一个基于事件的时间。对于许多的应用来说，你可能希望操作这个事件-时间。例如，如果你想获得每分钟物联网设备产生的事件数量，然后想使用数据产生时的时间（也就是数据的event-time），而不是Spark接收他们的时间。每个设备中的事件是表中的一行，而事件-...

目录1、基本介绍2、三种Sink模式1、基本介绍结构化流的关键思想是将活生生的数据流看作一张正在被连续追加数据的表。产生了一个与批处理模型非常相似的新的流处理模型。可以像在静态表之上的标准批处理查询一样，Spark是使用在一张无界的输入表之上的增量式查询来执行流计算的。数据流Data Stream看成了表的行数据，连续地往表中追加。结构化流查询将会产生一张结果表（R...

目录四、StreamExecution：持续查询的运转引擎1. StreamExecution 的初始状态2. StreamExecution 的持续查询3. StreamExecution 的持续查询（增量）4. 故障恢复5. Sources 、Sinks与 Exactly—once五、全文总结四、StreamExecution：持续查询的运转引擎现在我们将目...

目录一、引言：Spark 2.0 时代二、从 Structured Data 到 Structured Streaming三、Structured Streaming：无限增长的表格一、引言：Spark 2.0 时代Spark 1.x 时代里，以 SparkContext（及 RDD API）为基础，在 structured data 场景衍生出了 SQLContex...

业务场景介绍某广告公司在网页上投递动态图片广告，广告的展现形式是根据热点图片动态生成的。为了收入的最大化，需要统计每个广告的点击数来决定哪些广告可以投放的更长时间，哪些需要及时更换。大部分的广告生命周期很短，实时获取广告的点击数可以让我们快速确定哪些广告对业务是关键的。所以我们理想的解决方案是有流处理数据的能力，可以统计所有广告的点击量以及统计实时的点击量。业务数据流来看下我们业务数据...