penngo的专栏

Structured Streaming是一个基于Spark SQL引擎的可扩展和容错流处理引擎，Spark SQL引擎将负责增量和连续地运行它，并在流数据继续到达时更新最终结果。

Spark DataFrame和Dataset使用教程

Transformation（转换）：表示是针对RDD中数据的转换操作，主要会针对已有的RDD创建一个新的RDD：常见的有map、flatMap、filter等等。Action（执行）表示是触发任务执行的操作，主要对RDD进行最后的操作，比如遍历、reduce、保存到文件等，并且还可以把结果返回给Driver程序。使用例子SparkRdd.java。（数据源）中的元素应用一个函数。（分布式数据集），它由每个。（分布式数据集），它由每个。（数据源）中应用一个函数。上执行聚合操作（例如，Meaning（含义）

Flink Mysql CDC的核心原理都是通过监控mysql的binlog的日志变化，从而进行日志解析，得到变化的数据。Flink CDC官网：https://github.com/ververica/flink-cdc-connectorsMySql CDC：https://github.com/ververica/flink-cdc-connectors/blob/master/docs/content/con

文章目录1、简介2、依赖条件3、配置MongoDB副本集4、创建maven工程1、简介MongoDB CDC连接器通过伪装一个MongoDB集群里副本，利用MongoDB集群的高可用机制，该副本可以从master节点获取完整oplog(operation log)事件流。Flink CDC官网：https://github.com/ververica/flink-cdc-connectorsMongoDB CDC：https://github.com/ververica/flink-cdc-conn