SparkStreaming
BigMoM1573
淡泊名利
展开
-
Spark>SparkStreamingKafka 练习题
查看历史记录的命令 history | grep kafka 以下是RNG S8 8强赛失败后,官微发表道歉微博下一级评论 数据说明: rng_comment.txt文件中的数据 字段 字段含义 index 数据id child_comment 回复数量 comment_time 评论时间 content 评论内容 da_v 微博个人认证 like_status...原创 2020-04-23 19:02:51 · 736 阅读 · 1 评论 -
Spark-Streaming>整合kafka
文章目录1. Kafka快速回顾2.整合Kafka两种模式说明3.spark-streaming-kafka-0-8(了解)3.1.Receiver3.2.Direct4.spark-streaming-kafka-0-105.扩展:Kafka手动维护偏移量 1. Kafka快速回顾 核心概念图解 Broker : 安装Kafka服务的机器就是一个broker Producer :消息的生产者...原创 2020-04-16 12:39:37 · 393 阅读 · 0 评论 -
Spark-Streaming>实战练习
文章目录WordCountupdateStateByKeyreduceByKeyAndWindow统计一定时间内的热门词汇TopN WordCount 1、需求&准备 图解 首先在linux服务器上安装nc工具 nc是netcat的简称,原本是用来设置路由器,我们可以利用它向某个端口发送数据 yum install -y nc 启动一个服务端并开放9999端口,等一下往这个端口发数据 ...原创 2020-04-16 11:13:05 · 494 阅读 · 0 评论 -
Spark-Streaming>原理
文章目录SparkStreaming原理整体流程数据抽象DStream相关操作TransformationsOutput/Action总结 SparkStreaming原理 整体流程 Spark Streaming中,会有一个接收器组件Receiver,作为一个长期运行的task跑在一个Executor上。Receiver接收外部的数据流形成input DStream DStream会被按...原创 2020-04-16 09:23:44 · 240 阅读 · 0 评论 -
Spark-Streaming>介绍
文章目录概述Spark Streaming的特点实时计算所处的位置 新的场景需求 集群监控 一般的大型集群和平台, 都需要对其进行监控的需求。 要针对各种数据库, 包括 MySQL, HBase 等进行监控 要针对应用进行监控, 例如 Tomcat, Nginx, Node.js 等 要针对硬件的一些指标进行监控, 例如 CPU, 内存, 磁盘 等 官网 http://spark.apache...原创 2020-04-16 08:45:21 · 179 阅读 · 0 评论