- 博客(3)
- 收藏
- 关注
原创 SparkStreaming wordcount demo
流数据统计,将每隔10s内的数据做一次单词统计package com.streamingimport org.apache.spark.streaming._ import org.apache.spark.streaming.StreamingContext._ import org.apache.spark.SparkContext import org.apache.spark.api.jav
2016-06-06 17:26:30 975
原创 SparkStreaming 删选含有error的行
筛选流数据中所有含error的行package com.streaming import org.apache.spark.SparkConf import org.apache.spark.streaming.Seconds import org.apache.spark.streaming.StreamingContextobject PrintError { def main(args:
2016-06-06 17:21:53 1260
原创 SparkStreaming 打印输出demo
1.nc -lk 9999 -l 使用监听模式,管控传入的资料。 本机开启9999端口 一个server对应一个client,多了可能出问题,也就是下次起sparkstreaming任务时,必须先关了这个端口,重开 2.提交sparkstreaming任务 package com.streaming import org.apache.spark.streaming.Seconds impo
2016-06-06 17:15:56 4871
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人