sparkstreaming中的foreachRDD与foreachPartition详解
dstream.foreachRDD是一个功能强大的原语,允许将数据发送到外部系统。但是,了解如何正确有效地使用此原语非常重要。通常将数据写入外部系统需要创建连接对象(例如,与远程服务器的TCP连接)并使用它将数据发送到远程系统。为此,开发人员可能无意中尝试在Spark驱动程序中创建连接对象,然后尝试在Spark工作程序中使用它来保存RDD中的记录。详情请见官方文档:https://sp...
原创
2019-01-10 14:28:42 ·
1639 阅读 ·
0 评论