![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
sparkstream
wtzhm
有梦想没有金钱,想健身没有时间!
展开
-
Flume安装与工作机制
Flume 1.Flume的概述 日志采集框架Flume是一个分布式、可靠和高可用的海量日志采集、聚合和传输的系统,Flume可以采集文件,socket数据包等各种形式源数据,又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中。 2.Flume工作机制 Flume分布式系统中最核心的角色是agent,flume采集系统就是由一个个agent所原创 2018-01-24 18:48:04 · 664 阅读 · 0 评论 -
log4j+flume+kafka模拟Spark Streaming流式处理数据
log4j+flume+kafka模拟Spark Streaming流式处理数据 1. java 编程模拟日志产生 /** * 模拟Logger 产生日志 */ public class LoggerGenerator { private static Logger logger = Logger.getLogger(LoggerGenerator.class.getName());...原创 2018-12-19 20:00:10 · 324 阅读 · 0 评论 -
SparkStreaming 集成Flume详解
SparkStreaming 集成Flume详解 1.Flume-style Push-based Approach 1).push方式:flume agent的sink需要使用avro,spark application是一个receiver,接受flume push过来的数据。 2).由于是使用的push方式,要先运行spark application,然后才能启动flume 3).flume...原创 2018-12-14 16:08:22 · 376 阅读 · 1 评论 -
kafka基础
kafka基础 1.概述 Kafka 是一个基于分布式的消息发布-订阅系统,它被设计成快速、可扩展的、持久的。Kafka 在主题当中保存消息的信息。生产者向主题写入数据,消费者从主题读取数据。 2.关键字解析 Broker Kafka 集群包含一个或多个服务器,其中的服务器被称为 broker。 Topic 一个 topic 可以认为是一类消息,每个 topic 将被分成多个 partition...原创 2018-12-10 10:08:29 · 217 阅读 · 0 评论 -
kafka java 编程
kafka java编程 1.引入kafka <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId> <ve原创 2018-12-10 19:58:36 · 378 阅读 · 1 评论 -
flume与kafka实战配置
flume与kafka实战配置 1. 概述 在实战中,产生日志文件的服务器和hadoop集群一般不是在同一个服务器上,这时需要使用Flume avro架构模型,在web服务器上搭建一个flume,在hadoop集群上搭建一个flume。在这方便测试我们使用如下架构测试. 2. Flume avro架构模型 3.flume-webserver.properties 配置文件 特别说明:下面配置是f...原创 2018-12-11 11:27:36 · 1765 阅读 · 0 评论 -
Spark Streaming 基础
Spark Streaming 基础 1. SparkStreaming概述 1).Spark Streaming用于流式数据的处理,Spark Streaming有高吞吐量和容错能力强等特点。 2).他导入kafka、flume、hdfs等数据源,经过处理输出到hdfs、databases等。 2. StreamingContext 1).通过SparkConf获取 val conf = n...原创 2018-12-11 17:56:49 · 227 阅读 · 1 评论 -
SparkStreaming 集成Kafka详解
SparkStreaming 集成Kafka详解 1.概述 SparkStream集成Kafa有两种方式,Receiver-based Approach与Direct Approach,在集成的时候得注意spark版本与kafka的版本是否兼容。 2.Receiver-based Approach 1)概述 此种方式使用的是recevier 接收数据,recevier使用的是the Kafka h...原创 2018-12-18 11:24:13 · 429 阅读 · 0 评论