SparkStreaming获取数据源的两种方式(监听端口号及整合kafka)
方式一:监听端口号,此方式需要先在linux上开启nc -lk 端口号服务,之后SparkStreaming可以从此端口拉取到数据,并进行实时处理,代码如下:
import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.{SparkConf, Spar
原创
2020-07-22 16:23:41 ·
885 阅读 ·
0 评论