spark
OutRoading
这个作者很懒,什么都没留下…
展开
-
SparkStreaming简单通用案例
学习SparkStreaming之前建议 先学习Scala 和 Spark ,这两个学好了,用法大同小异SparkStreaming使用离散化流作为抽象表示,叫做DStream。可用netcat做测试SparkStream 用采集器间隔时间从数据源采集数据,装成一个个离散化流,离散化流再发给driver,最终发给executor执行def sparkStreamingTest=...原创 2019-11-04 13:46:33 · 313 阅读 · 0 评论 -
Spark整理笔记二:算子详解
算子学习spark之前,强烈建议先学习scala。学过java,再学scala不难,看两三天教程就能看会基本操作了。这对学习spark的使用会事半功倍。scala和java的一些写法还是存在很多不同点的。Map: 可以进行计算以及格式转化,对每一条数据操作// 进行计算def mapTest={ val conf = new SparkConf().setMaster("...原创 2019-11-03 08:58:08 · 380 阅读 · 0 评论