2020年01月_疯狂呼呼呼

11月 04月 01月

原创 Spark Streaming与Kafka的整合

官网：http://spark.apache.org/docs/latest/streaming-kafka-integration.html从官网的介绍当中我们也可以发现，Spark Streaming有2种方式去接收kafka的数据：使用receiver去接收数据，同时使用的是kafka的high level api另外一种方式是没有使用receiver的，即direct方式，是从Sp...

2020-01-23 23:17:59 361

原创 Spark Streaming中transform算子使用详解

在实际生产中会有一种场景(最典型的就是黑名单的场景)，就是需要DStream与RDD之间进行互相操作的，那么此时就需要我们借助transform算子来进行实现了官网介绍：http://spark.apache.org/docs/latest/streaming-programming-guide.html#transform-operation具体代码可见如下：/** * transfo...

2020-01-20 10:13:43 1572

原创 Spark Streaming结合redis实现state的功能

前言在前面的文章中有介绍SparkStreaming中的updateStateByKey算子，具体可见文章：park Streaming中状态算子的使用，但是使用updateStateByKey算子会存在一个问题，就是必须使用checkpoint，同时造成小文件扎堆的情况而在这篇文章中SparkStreaming中foreachRDD算子使用详解所提到的写入mysql的最佳实践中，细看也不难...

2020-01-01 19:44:30 909 1