Spark Streaming（二）Flume

最新推荐文章于 2023-01-16 08:07:32 发布
最新推荐文章于 2023-01-16 08:07:32 发布
阅读量155 收藏
点赞数
分类专栏： Spark Streaming
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vincent_duan/article/details/107079061
版权

现状分析

在这里插入图片描述

如何解决我们的数据从其他的server上移动到Hadoop之上

  1. 脚本shell cp到Hadoop集群的机器上，然后使用hadoop fs -put命令传到hadoop上【问题：1.这种方法如何做监控，2.文本数据的传输对于磁盘的开销非常大 3. 必须要指定一个间隔的时间，比如每隔1分钟拷贝一次，这样时效性不好 4. 如何做容错和负载均衡】
  2. 使用Flume。容错、负载均衡、高延迟、压缩在flume中都有很好的解决。只需要写config就可以了
    在这里插入图片描述

Flume概述

Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data.

主要包括收集(collecting)、聚合(aggregating)、移动(moving)功能。
也就是说webserver(源端)可以通过Flume移动到HDFS(目的端)中。

Flume架构

在这里插入图片描述

  1. source 收集
  2. channel 聚集
  3. sink 输出

业界同类产品对比

(常用)Flume：Apache项目，采用java进行开发
Scribe：Facebook项目，采用C/C++开发，负载均衡与容错不是很好。目前不再维护。
Chukwa：Yahoo/Apache项目，采用java开发，不再维护
Fluentd：与Flume类似，采用Ruby开发
(常用)Logstash：ELK（Elasticsearch+Logstash+Kibana）

安装Flume

前置条件

  1. java1.8以上
  2. 足够内存，供source，channel，sink使用
  3. 磁盘空间足够
  4. 文件目录权限

下载安装Flume

  1. 下载Flume：下载CDH5.15.1版本，这里
  2. 解压：tar -xvf flume-ng-1.6.0-cdh5.15.1.tar.gz -C ~/app/
    目录结构：
    在这里插入图片描述
  3. 添加环境变量，~/.bashrc 内容如下：
# FLUME_HOME 1.6.0
FLUME_HOME=/home/iie4bu/app/apache-flume-1.6.0-cdh5.15.1-bin

PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$SPARK_HOME/bin:$FLUME_HOME/bin:$PATH

export PATH=$PATH
  1. 然后执行source ~/.bashrc使得环境变量生效

配置Flume

在conf目录下执行cp flume-env.sh.template flume-env.sh
添加export JAVA_HOME=/home/iie4bu/app/jdk1.8.0_101
检查运行情况，在bin目录下执行：./flume-ng version
在这里插入图片描述

Flume实战

需求1

从指定网络端口采集数据输出到控制台。

配置

使用Flume的关键就是写配置文件

A) 配置Source
B) 配置Channel
C) 配置Sink
D) 把以上三个组件串起来

a1: agent名称
r1: source的名称
k1: sink的名称
c1: channel的名称

在conf目录下新建一个example.conf, 内容如下：

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动agent

bin/flume-ng agent --name a1 --conf $FLUME_HOME/conf --conf-file $FLUME_HOME/conf/example.conf -Dflume.root.logger=INFO,console

其中：

  1. --name: 表示agent的名称
  2. –conf: 表示 $FLUME_HOME/conf
  3. –conf-file: 指定自己写的配置文件
  4. -D 表示JDK的一些参数。-Dflume.root.logger=INFO,console

使用nc进行测试

重新开一个窗口，使用nc命令在本地测试44444端口
在这里插入图片描述
在Flume中可以看到输出结果：
在这里插入图片描述
在输出的日志中可以看到Event：
Event: { headers:{} body: 61 62 63 abc }
这个Event就是Flume中数据传输的基本单元。

需求2

监控一个文件实时采集新增的数据输出到控制台

配置
Agent选型：exec source + memory channel + logger sink
在$FLUME_HOME/conf目录下新建exec-memory-logger.conf配置文件，内容如下：

 # Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail  -F /home/iie4bu/data/hello.txt
a1.sources.r1.shell = /bin/sh -c

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动agent

bin/flume-ng agent --name a1 --conf $FLUME_HOME/conf --conf-file /home/iie4bu/app/apache-flume-1.6.0-cdh5.15.1-bin/conf/exec-memory-logger.conf -Dflume.root.logger=INFO,console

这样就实现了监听/home/iie4bu/data/hello.txt文件，并把里面的内容输出到控制台。

需求3

将A服务器上的日志实时采集到B服务器。

Agent选型

机器A上的agent选型：exec source + memory channel + avro sink
机器B上的agent选型：avro source + memory channel + logger sink

配置Agent
新建exec-memory-avro.conf，内容如下：

exec-memory-avro.sources = exec-source
exec-memory-avro.sinks = avro-sink
exec-memory-avro.channels = memory-channel

# Describe/configure the source
exec-memory-avro.sources.exec-source.type = exec
exec-memory-avro.sources.exec-source.command = tail  -F /home/iie4bu/data/hello.txt
exec-memory-avro.sources.exec-source.shell = /bin/sh -c

# Describe the sink
exec-memory-avro.sinks.avro-sink.type = avro
exec-memory-avro.sinks.avro-sink.hostname = localhost
exec-memory-avro.sinks.avro-sink.port = 44444

# Use a channel which buffers events in memory
exec-memory-avro.channels.memory-channel.type = memory
exec-memory-avro.channels.memory-channel.capacity = 1000
exec-memory-avro.channels.memory-channel.transactionCapacity = 100

# Bind the source and sink to the channel
exec-memory-avro.sources.exec-source.channels = memory-channel
exec-memory-avro.sinks.avro-sink.channel = memory-channel

新建avro-memory-logger.conf，内容如下：

avro-memory-logger.sources = avro-source
avro-memory-logger.sinks = logger-sink
avro-memory-logger.channels = memory-channel

# Describe/configure the source
avro-memory-logger.sources.avro-source.type = avro
avro-memory-logger.sources.avro-source.bind = localhost
avro-memory-logger.sources.avro-source.port = 44444

# Describe the sink
avro-memory-logger.sinks.logger-sink.type = logger

# Use a channel which buffers events in memory
avro-memory-logger.channels.memory-channel.type = memory
avro-memory-logger.channels.memory-channel.capacity = 1000
avro-memory-logger.channels.memory-channel.transactionCapacity = 100

# Bind the source and sink to the channel
avro-memory-logger.sources.avro-source.channels = memory-channel
avro-memory-logger.sinks.logger-sink.channel = memory-channel

启动agent

这里要注意启动顺序。
首先启动avro-memory-logger.conf：bin/flume-ng agent --name avro-memory-logger --conf $FLUME_HOME/conf --conf-file /home/iie4bu/app/apache-flume-1.6.0-cdh5.15.1-bin/conf/avro-memory-logger.conf -Dflume.root.logger=INFO,console
在这里插入图片描述
然后再启动exec-memory-avro.conf：bin/flume-ng agent --name exec-memory-avro --conf $FLUME_HOME/conf --conf-file /home/iie4bu/app/apache-flume-1.6.0-cdh5.15.1-bin/conf/exec-memory-avro.conf -Dflume.root.logger=INFO,console
在这里插入图片描述
当我们给/home/iie4bu/data/hello.txt文件添加内容时，在avro-memory-logger.conf就会打印输出响应：
在这里插入图片描述

延时

这里两个Agent之间会有一定的延时，因为channel是基于内存，有大小设置，到了一定的时间才会进行相应的操作。

总结日志收集过程

  1. 机器A上监控一个文件，当我们访问主站时会有用户行为日志记录到access.log中
  2. avro sink把新产生的日志输出到对应的机器B的hostname和port上
  3. 通过机器B上的avro source对应的agent将我们的日志输出到控制台（Kafka）
vincent_hahaha
关注
专栏目录
Spark Streaming使用Flume作为数据源
曹利荣的博客
07-10 1758
官网地址： Flume Integration Guide 1、Spark Streaming 2.3.1适配 Flume 1.6.0，在Spark Streaming 2.3.0之后对flume的支持已被标记为过时。主要由于flume直接对接Spark Streaming 会造成Spark Streaming压力过大，特别是高峰期的时候（在之间加一层消息队列会好得多）。但由于很多公司可能仍然在用...
【spark】spark streaming 和flume、kafka整合
废物点心的博客
04-29 749
文章目录一、Spark Streaming整合flumePoll方式Push方式二、Spark Streaming整合kafkaKafkaUtils.createDstreamKafkaUtils.createDirectStreamStreamingContext.getOrCreate 一、Spark Streaming整合flume flume作为日志实时采集的框架，可以与SparkStre...
Spark 系列15—— Spark Streaming 整合 Flume
weixin_42073629的博客
08-21 245
一、简介 Apache Flume 是一个分布式，高可用的数据收集系统，可以从不同的数据源收集数据，经过聚合后发送到分布式计算框架或者存储系统中。Spark Straming 提供了以下两种方式用于 Flume 的整合。 二、推送式方法 在推送式方法 (Flume-style Push-based Approach) 中，Spark Streaming 程序需要对某台服务器的某个端口进行监听，Flume 通过avro Sink将数据源源不断推送到该端口。这里以监听日志文件为例，具体整合方式如下： ..
大数据基础之SparkStreaming——SparkStreaming整合Flume
Clozzz的博客
08-20 341
Spark Streaming继承Flume   Spark Streaming通过Push和Pull两种方式对接Flume数据源。以Spark Streaming的角度来看，Push方式属于推送(由Flume向Spark推送)，而Pull属于拉取(Spark拉取Flume的输出)。   不论以何种方式，开发过程类似，都是由 Spark Streaming 对接 Flume 数据流，Flume 做为 Spark Streaming 的数据源。Push 和 Pull 两者的差别主要体现在Flume Sink
SparkStreaming整合Flume
weixin_44240370的博客
08-17 239
文章目录案例一、Flume-style Push-based Approach案例二、Push-based Approach using a Custom Sink SparkStreaming整合Flume有两种方式，下面会一一列举这两个Demo 案例一、Flume-style Push-based Approach 首先来看一下官方文档，之前所介绍的socket或者fileSystem都属于基...
Spark Streaming对接flume
weixin_43894652的博客
01-16 217
flume作为日志实时采集的框架，可以与SparkStreaming实时处理框架进行对接，flume实时产生数据，sparkStreaming做实时处理。spark-streaming-flume-assembly_2.11-2.3.0.jar放入到flume的lib目录下。3，写flume的agent，注意既然是拉取的方式，那么flume向自己所在的机器上产数据就行。推给Spark Streaming，还有一种是Spark Streaming从flume 中。大部分操作和之前一致。
spark-streaming-flume_2.11-2.1.0.jar
03-19
spark-streaming-flume_2.11-2.1.0.jar
本科毕业设计项目，基于spark streaming+flume+kafka+hbase的实时日志处理分析系统，大数据处理技术
最新发布
06-20
本科毕业设计项目，基于spark streaming+flume+kafka+hbase的实时日志处理分析系统 基于spark streaming+flume+kafka+hbase的实时日志处理分析系统 本科毕业设计项目，基于spark streaming+flume+kafka+hbase的...
SparkStreaming整合Flume的两种方式
zhaoguowei的博客
11-26 810
Flume整合SparkStream两种方式 官网http://spark.apache.org/docs/latest/streaming-flume-integration.html Apache Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。在这里，我们说明如何配置Flume和Spark Streaming以从Flume接收数据。有两种方法。 方法一：基于...
Flume对接Spark Streaming的相关jar包
12-20
在大数据处理领域，Flume 和 Spark Streaming 是两个重要的工具，它们分别用于数据收集与实时流处理。本压缩包中的 jar 包是为了解决 Flume 与 Spark Streaming 的集成问题，确保数据能够从 Flume 无缝流转到 Spark ...
Spark Streaming和Flume的结合使用
ZMC921的博客
07-14 694
首先在IDEA里面导入依赖包 org.apache.spark spark-streaming-flume_2.10 ${spark.version} 在linux下安装flume，减压flume包，然后到conf里面复制flume-env.sh，修改里面的JavaHOME安装目录就好了 1、 Flume主动向Streaming推送数据 object Flume
spark-streaming与flume整合
sxj的专栏
02-06 483
一、以push方式接收flume发送过来的数据（也就是flume客户端主动向spark streaming发送数据） 1、首先配置pom.xml文件，文件内容如下： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:...
SparkStreaming数据源Flume实际案例分享
cary_1991的专栏
05-02 3267
本期内容： 1.Spark Streaming on polling from Flume实战 2.Spark Streaming on polling from Flume源码 FlumeConnection:分布式连接的Flume实体 I.实战 一．通过Spark Streaming主动从Flume这边获取数据，首先配置Flume-config配置文件 二．编写源代码Spar
Spark学习（十）---SparkStreaming和flume的整合
weixin_42229056的博客
10-23 857
这次我们介绍SparkStreaming和flume的整合，flume作为日志实时采集的框架，可以与SparkStreaming实时处理框架进行对接，flume实时产生数据，sparkStreaming做实时处理。 Spark Streaming对接FlumeNG有两种方式，一种是FlumeNG将消息Push推给Spark Streaming，还有一种是Spark Streaming从flume ...
SparkStreaming+Flume流计算
别人笑我太疯癫，我笑他人看不穿。
03-19 228
SparkStreaming + Flume的方式是一个早期的形式，在新版本的Spark中，并不提倡直接与Flume去对接的，但是有的时候我们任然需要这样的形式去处理数据 Spark整合Flume的数据在Spark中有两种方式Poll拉与Push推，两种模式对比起来优先使用Poll模式 拉模式就是Spark提供了一个sink，SparkStreaming主动的自己去channel里面取数据，根据自身条件去获取数据，稳定性好。 推模式，是Flume作为缓存，存有数据。并监听Spark，如果Spark可达，就将
Flume 与 Spark Streaming 的整合
你若盛开~
02-02 1026
看到这篇文章的你们，我相信你们已经把环境安装好，并且可以运行代码了，话不多说  。 Spark Streaming整合Flume有两种方式，我只介绍这一种  Push 方法  （一定要按照我写的步骤来做 ） 我会写本地环境和服务器环境联调 接下来是本地环境联调 第一步：编写Agent （推荐在flume/conf 文件夹下写conf）     flume_push_streaming.c
使用Flume作为Spark Streaming数据源
独醉的博客
12-17 2927
使用Flume作为Spark Streaming数据源一、安装Flume二、使用netcat数据源测试Flume三、使用Flume作为Spark Streaming数据源 一、安装Flume 链接：https://pan.baidu.com/s/1fE8YStngEVY3ixFN0qOPRA 提取码：519w 对其进行解压 tar -zxvf apache-flume-1.7.0-bin.tar.gz 测试是否安装成功 ./bin/flume-ng version 二、使用netcat数据源测试
Flume + Kafka + SparkStreaming(2.0)
天道酬勤
11-16 3722
本文阅读需具有一定Flume Kafka SparkStreaming的基础知识。 1、Flume以及Kafka环境搭建。       版本的选择，参考http://spark.apache.org/docs/latest/streaming-kafka-integration.html          spark-streaming-kafka-0-8 sp
Spark Streaming 项目实战（2）—— Flume 对接python日志产生器,和Kafka
一角残叶的博客
12-14 522
1 Flume 对接日志产生器 1.1 Flume 配置文件 streaming_project.conf exec-memory-logger.sources = exec-source exec-memory-logger.sinks = logger-sink exec-memory-logger.channels = memory-channel exec-memory-logger.s...
SparkStreaming与Flume集成指南
"Spark-Streaming整合Flume是一个关于如何将Apache Flume与Apache Spark Streaming结合使用的教程，旨在实现高效的数据流处理和日志分析。该文档涵盖了两种不同的整合方法：推送式和拉取式。" # 一、简介 Apache ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值