![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scala
lemonlhy
这个作者很懒,什么都没留下…
展开
-
用scala实现Spark的RDD接口
import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.rdd.RDDobject Spark { final val conf:SparkConf=new SparkConf().setAppName("Spark").setMaster("local")...原创 2018-04-24 08:49:50 · 676 阅读 · 0 评论 -
利用scala实现YARN的RPC
根据scala实现YARN的RPC功能YARN主要分为ResourceManager和DataManagerResourceManager主要负责接收DataManager的请求,例如注册,资源调度等DataManager每隔一段时间会进行心跳信息的反馈给RM,RM判断DataManager是否还在线实现思路:一.首先创建两个object 1 MyNodeManager 2 MyR...原创 2018-04-19 21:26:20 · 286 阅读 · 0 评论 -
SparkStreaming的单词计数案例
import org.apache.spark.streaming.dstream.ReceiverInputDStreamimport org.apache.spark.streaming.{Seconds, StreamingContext}import org.apache.spark.{SparkConf, SparkContext}/** * 需要用到nc -lk 9999 ...原创 2018-05-11 20:36:58 · 620 阅读 · 0 评论