SparkStreaming
BigMoM1573
淡泊名利
展开
-
Spark>SparkStreamingKafka 练习题
查看历史记录的命令history | grep kafka以下是RNG S8 8强赛失败后,官微发表道歉微博下一级评论数据说明:rng_comment.txt文件中的数据字段字段含义index数据idchild_comment回复数量comment_time评论时间content评论内容da_v微博个人认证like_status...原创 2020-04-23 19:02:51 · 736 阅读 · 1 评论 -
Spark-Streaming>整合kafka
文章目录1. Kafka快速回顾2.整合Kafka两种模式说明3.spark-streaming-kafka-0-8(了解)3.1.Receiver3.2.Direct4.spark-streaming-kafka-0-105.扩展:Kafka手动维护偏移量1. Kafka快速回顾核心概念图解Broker : 安装Kafka服务的机器就是一个brokerProducer :消息的生产者...原创 2020-04-16 12:39:37 · 393 阅读 · 0 评论 -
Spark-Streaming>实战练习
文章目录WordCountupdateStateByKeyreduceByKeyAndWindow统计一定时间内的热门词汇TopNWordCount1、需求&准备图解首先在linux服务器上安装nc工具nc是netcat的简称,原本是用来设置路由器,我们可以利用它向某个端口发送数据yum install -y nc启动一个服务端并开放9999端口,等一下往这个端口发数据...原创 2020-04-16 11:13:05 · 494 阅读 · 0 评论 -
Spark-Streaming>原理
文章目录SparkStreaming原理整体流程数据抽象DStream相关操作TransformationsOutput/Action总结SparkStreaming原理整体流程Spark Streaming中,会有一个接收器组件Receiver,作为一个长期运行的task跑在一个Executor上。Receiver接收外部的数据流形成input DStreamDStream会被按...原创 2020-04-16 09:23:44 · 240 阅读 · 0 评论 -
Spark-Streaming>介绍
文章目录概述Spark Streaming的特点实时计算所处的位置新的场景需求集群监控一般的大型集群和平台, 都需要对其进行监控的需求。要针对各种数据库, 包括 MySQL, HBase 等进行监控要针对应用进行监控, 例如 Tomcat, Nginx, Node.js 等要针对硬件的一些指标进行监控, 例如 CPU, 内存, 磁盘 等官网http://spark.apache...原创 2020-04-16 08:45:21 · 179 阅读 · 0 评论