spark streaming
forover2015
这个作者很懒,什么都没留下…
展开
-
Spark Streaming实例分析
这一章要讲Spark Streaming,讲之前首先回顾下它的用法,具体用法请参照《Spark Streaming编程讲解 》。Example代码分析val ssc = new StreamingContext(sparkConf, Seconds(1));// 获得一个DStream负责连接 监听端口:地址val lines = ssc.socketTextStr转载 2016-01-19 18:56:12 · 290 阅读 · 0 评论 -
spark-streaming系列------- 3. Kafka DirectDStream方式数据的接收
spark-streaming系列------- 3. Kafka DirectDStream方式数据的接收KafkaRDD分区个数的确定和每个分区数据接收的计算在KafkUtils.createDirectStream创建了DirectDStream,代码如下:def createDirectStream[ K: ClassTag, V: ClassTag, KD <转载 2016-01-20 11:38:54 · 459 阅读 · 0 评论