SparkStreaming
Apache Spark™ is a unified analytics engine for large-scale data processing.
weixin_43563705
将自己的所学到的知识分析给大家
展开
-
Spark Streaming:从入门到精通(四)[ 整合kafka]
整合kafkaKafka快速回顾核心概念图解Broker : 安装Kafka服务的机器就是一个brokerProducer :消息的生产者,负责将数据写入到broker中(push)Consumer:消息的消费者,负责从kafka中拉取数据(pull),老版本的消费者需要依赖zk,新版本的不需要Topic: 主题,相当于是数据的一个分类,不同topic存放不同业务的数据 --主题...原创 2020-04-23 11:56:34 · 3511 阅读 · 1 评论 -
Spark Streaming:从入门到精通(三)[实战]
Spark Streaming实战WordCount1. 需求&准备图解:首先在linux服务器上安装nc工具nc是netcat的简称,原本是用来设置路由器,我们可以利用它向某个端口发送数据yum install -y nc启动一个服务端并开放9999端口,等一下往这个端口发数据nc -lk 9999发送数据代码演示package cn.itcast.stream...原创 2020-04-23 11:36:21 · 3511 阅读 · 2 评论 -
Spark Streaming:从入门到精通(二)[原理]
SparkStreaming原理整体流程Spark Streaming中,会有一个接收器组件Receiver,作为一个长期运行的task跑在一个Executor上。Receiver接收外部的数据流形成input DStreamDStream会被按照时间间隔划分成一批一批的RDD当批处理间隔缩短到秒级时,便可以用于处理实时数据流。 时间间隔的大小可以由参数指定,一般设在500毫秒到几秒之间。...原创 2020-04-23 11:24:47 · 3457 阅读 · 2 评论 -
Spark Streaming:从入门到精通(一)[详细介绍]
新的场景需求集群监控一般的大型集群和平台, 都需要对其进行监控的需求。要针对各种数据库, 包括 MySQL, HBase 等进行监控要针对应用进行监控, 例如 Tomcat, Nginx, Node.js 等要针对硬件的一些指标进行监控, 例如 CPU, 内存, 磁盘 等还有很多很多Spark Streaming介绍官网:http://spark.apache.org/...原创 2020-04-23 11:01:17 · 4153 阅读 · 2 评论