本文档详细介绍了如何在Spark Streaming中实现自定义接收器，以接收来自任何数据源的流数据。自定义接收器需扩展Receiver类并实现onStart()和onStop()方法。可靠的接收器需使用store(multiple-records)确保数据在Spark中被确认和存储，而不可靠的接收器使用store(single-record)，虽然没有可靠性保证，但实现更为简单。
翻译：http://spark.apache.org/docs/latest/streaming-custom-receivers.html
Spark Streaming自定义接收器
Spark Streaming可以接收来自任何数据源的流数据，超出了其内置支持（即Flume，Kafka，Kinesis，文件，套接字等）以外的任何数据源。这要求开发人员实施一个接收器，该接收器专门用于从相关数据源接收数据。本指南介绍了实现自定义接收器并将其用于Spark Streaming应用程序的过程。请注意，自定义接收器可以在Scala或Java中实现。
实现自定义接收器
这从实现Receiver （Scala doc， Java doc）开始。自定义接收者必须通过实现两种方法来扩展这个抽象类
- onStart()：开始接收数据的事情。
- onStop()：要停止接收数据的事情。
onStart()和onStop()都不能无限期地阻塞。通常，onStart()将会启动接收数据的线程，onStop()
订阅专栏 解锁全文
扫一扫
2929
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
