Spark Streaming
文章平均质量分 78
xipenfei
这个作者很懒,什么都没留下…
展开
-
Spark学习(八)---Spark streaming原理
这次我们介绍spark streaming,今天主要是原理和相关的操作 Spark Streaming概念介绍 Spark Streaming的相关操作 1. Spark Streaming概念 1.1什么是Spark Streaming Spark Streaming类似于Apache Storm,用于流式数据的处理。根据其官方文档介绍,Spark Streaming有高吞吐量和容错能力强...原创 2018-10-22 12:24:14 · 602 阅读 · 0 评论 -
Spark学习(九)---Spark streaming常用演示
这次我们演示使用使用SparkStreaming对不同数据流读取的简单操作,以单词统计为例 接受socket数据,实现单词计数和实现累加 使用开窗函数统计时间段内的热词语 1. 实现单词计数WordCount 1. 1架构 1.2 实现流程 (1)安装并启动生产者 首先在linux服务器上用YUM安装nc工具,nc命令是netcat命令的简称,它是用来设置路由器。我们可以利用它向某个端口发...原创 2018-10-22 23:47:17 · 239 阅读 · 0 评论 -
Spark学习(十)---SparkStreaming和flume的整合
这次我们介绍SparkStreaming和flume的整合,flume作为日志实时采集的框架,可以与SparkStreaming实时处理框架进行对接,flume实时产生数据,sparkStreaming做实时处理。 Spark Streaming对接FlumeNG有两种方式,一种是FlumeNG将消息Push推给Spark Streaming,还有一种是Spark Streaming从flume ...原创 2018-10-23 09:27:33 · 853 阅读 · 0 评论 -
Spark学习(十一)---Spark streaming整合kafka
本次介绍sparkStreaming和kafka的整合,主要有两种方式 KafkaUtils.createDstream方式 KafkaUtils.createDirectStream方式(推荐使用) 1. 简单介绍 kafka作为一个实时的分布式消息队列,实时的生产和消费消息,这里我们可以利用SparkStreaming实时地读取kafka中的数据,然后进行相关计算。 在Spark1.3版...原创 2018-10-23 09:58:09 · 254 阅读 · 0 评论