Output Operations on DStreams
Dstream允许将数据输出到外部系统的文件系统中(hdfs:// file:/// 等),只需要对DStream调用如下方法:
Output Operation | Meaning |
---|---|
print() | 在运行streaming应用的spark节点上,打印该DStream上每个数据块的前10个元素 |
saveAsTextFiles(prefix, [suffix]) | 将DStream上的数据储存为text文件格式 ,prefix为文件路径,suffix为储存的文件后缀,设置后缀方便于批量读取 |
saveAsObjectFiles(prefix, [suffix]) | 储存为序列化JAVA对象的序列文件 |
saveAsHadoopFiles(prefix, [suffix]) | 很明显储存为hadoop文件 |
foreachRDD(func) | 功能最强大的方法,是以上三种方法的底层方法,可以为每个RDD创建连接例,如连接数据库将数据存储到数据库中,或将数据发送到MQ中等等… |
SparkStreaming储存数据为TextFile
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount")
//创建streaming上下文,RDD间隔为5s
val ssc = new StreamingContext(conf, Seconds(5)