【大数据】SparkStreaming
【大数据】SparkStreaming
北京小辉
余辉,硕士毕业于中科院,从事IT行业12年。专注于大数据、云数据、用户画像、推荐算法。在数据团队担任过的角色:研发、架构师、负责人、讲师。数据知识产权:出版大数据书籍【1】本,论文【2】篇,软著【6】篇,专利【65】篇。
展开
-
SparkStreaming在启动执行步鄹和DStream的理解
目录:SparkStreaming启动执行步鄹:DStream和Rdd的理解Linux中发送数据SparkStreaming代码如下结果展示:————————————————————————————————————————–SparkStreaming启动执行步鄹:1、加载SparkConf和StreamingContext 2、建立DStream接收器val lines = ssc.socket原创 2017-04-13 13:58:31 · 5149 阅读 · 1 评论 -
SparkStream文件监控和数据读取
代码 package main.scalaimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}import org.slf4j.LoggerFactory/** * Created by silentwolf on 2016/5/23. ...原创 2016-05-24 12:53:49 · 7803 阅读 · 0 评论