SparkStreaming
OutRoading
这个作者很懒,什么都没留下…
展开
-
SparkStreaming简单通用案例
学习SparkStreaming之前建议 先学习Scala 和 Spark ,这两个学好了,用法大同小异SparkStreaming使用离散化流作为抽象表示,叫做DStream。可用netcat做测试SparkStream 用采集器间隔时间从数据源采集数据,装成一个个离散化流,离散化流再发给driver,最终发给executor执行def sparkStreamingTest=...原创 2019-11-04 13:46:33 · 324 阅读 · 0 评论 -
Scala Spark接收kafka数据来源,存入Es
吼吼,第一次用scala写,虽然是对着抄,但磕磕绊绊中还是运行成功啦~配置文件: <properties> <spark.version>2.2.0</spark.version> <scala.version>2.11</scala.version> </properties>...原创 2019-10-28 15:06:31 · 602 阅读 · 0 评论