2020年3月4日——Sparkstreaming的wordcount-官网样例的总结笔记

最新推荐文章于 2023-07-07 16:54:19 发布

南栀子。

最新推荐文章于 2023-07-07 16:54:19 发布

阅读量173

点赞数

文章标签： spark log4j

本文链接：https://blog.csdn.net/qq_38191971/article/details/104661815

版权

本文记录了使用Spark2.1.0和Scala2.11.8进行SparkStreaming的wordcount功能实现，重点是调整log4j配置以减少控制台输出，便于观察结果。通过构建jar包并使用spark-submit提交任务，详细步骤包括改变log4j.rootCategory设置为WARN以及在spark-shell中测试代码。此外，提供了Sparkstreaming官方wordcount代码的GitHub链接。

摘要由CSDN通过智能技术生成

spark2.1.0
scala2.11.8

sparkstreaming完成wordcount功能。对于官网例子的一个笔记。

为了避免sparkstreaming什么信息都往控制台打印，我们第一步应该这样做，方便我们更好的查看效果：

cd /usr/local/spark/conf 
cp log4j.properties.template log4j.properties
vim log4j.properties

把log4j.rootCategory=INFO, console改成log4j.rootCategory=WARN, console

新建终端
#打开9999端口

nc -lk 9999

走开发，源码打成一个jar包。这里用的别个自带的测试jar包。
spark-submit提交Sparkstreaming的wordcount:

./spark-submit --master local[*] --class org.apache.spark.examples.streaming.NetworkWordCount --name NetworkWordCount /usr/local/spark/examples/jars/spark