大数据系列——Flume入门和认识

最新推荐文章于 2024-08-10 15:27:47 发布
最新推荐文章于 2024-08-10 15:27:47 发布
阅读量185 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31683033/article/details/100763361
版权

1. Flume简介

  • Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统
  • 支持在日志系统中定制各类数据发送方，用于收集数据
  • Flume提供对数据进行简单处理，并写到各种数据接收方

2. Flume OG 与Flume NG

Flume OG：Flume original generation,即Flume0.9x版本

Flume NG：Flume next generation，即Flume1.x版本

3. Flume体系结构

flume的事件(agent)

​ Source: 用来定义采集系统的源头

​ Channel: 把Source采集到的日志进行传输,处理

​ Sink:定义数据的目的地

4. Flume的安装

  • 准备安装文件

    • apache-flume-1.6.0-bin.tar.gz

  • 解压

    • tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /opt/

  • 重命名

    • mv apache-flume-1.6.0-bin flume

  • 添加环境变量

    #配置Flume的环境变量
export FLUME_HOME=/opt/flume
export PATH=$PATH:$FLUME_HOME/bin

  • 配置文件

    [root@uplooking01 /opt/flume/conf]
	mv flume-env.sh.template flume-env.sh

    [root@uplooking01 /opt/flume/conf/flume-env.sh]
	export JAVA_HOME=/opt/jdk

5. Flume采集网络端口数据

5.1 定义flume的事件配置文件

flume-nc.properties

# flume-nc.conf: 用于监听网络数据的flume agent实例的配置文件
############################################
# 对各个组件的描述说明
# 其中a1为agent的名字
# r1是a1的source的代号名字
# c1是a1的channel的代号名字
# k1是a1的sink的代号名字
############################################
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 用于描述source的，类型是netcat网络
a1.sources.r1.type = netcat
# source监听的网络ip地址和端口号
a1.sources.r1.bind = uplooking01
a1.sources.r1.port = 44444

# 用于描述sink，类型是日志格式
a1.sinks.k1.type = logger


# 用于描述channel，在内存中做数据的临时的存储
a1.channels.c1.type = memory
# 该内存中最大的存储容量，1000个events事件
a1.channels.c1.capacity = 1000
# 能够同时对100个events事件监管事务
a1.channels.c1.transactionCapacity = 100

# 将a1中的各个组件建立关联关系，将source和sink都指向了同一个channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

  • 启动agent(flume事件)

    flume-ng agent --name a1 --conf /opt/flume/conf --conf-file /opt/flume/conf/flume-nc.properties -Dflume.root.logger=INFO,console

  • 启动agent(flume事件) ,简单化

    **flume-ng agent --name a1 --conf-file /opt/flume/conf/flume-nc.properties **

6. 安装nc(瑞士军刀)

​ rpm -ivh nc-1.84-22.el6.x86_64.rpm

​ 监听端口: nc -lk 4444

​ 连接主机的端口: nc host port

7. 查看文件的命令

cat xxx: 查看文件的全部内容

head -100 xxx:查看文件内容开始的100行(默认不加-100是查看10行)

tail -100 xxx:查看文件内容末尾的100行(默认不加-100是查看10行)

tail -f xxx:查看文件内容末尾10行,并且监听文件的变化

8. Flume基本的组件

8.1 Source

  • 从外界采集各种类型的数据，将数据传递给Channel
  • 常见采集的数据类型
    • NetCat Source
    • Spooling Directory Source }
    • Exec Source
    • Kafka Source (后面说)
    • HTTP Source

8.2 Channel

  • 一个数据的存储池，中间通道

  • 接受source传出的数据，向sink指定的目的地传输。Channel中的数据直到进入到下一个channel中或者进入终端才会被删除。当sink写入失败后，可以自动重写，不会造成数据丢失，因此很可靠

  • channel的类型 :

    • Memory Channel (常用) 使用内存作为数据的存储。速度快

    • File Channel 使用文件来作为数据的存储。安全可靠

    • Spillable Memory Channel 用内存和文件作为数据的存储，即：先存在内存中，如果内存中数据达到阀值则flush到文件中

    • JDBC Channel 使用jdbc数据源来作为数据的存储。

    • Kafka Channel 使用kafka服务来作为数据的存储

8.3 Sink

  • 数据的最终的目的地

  • 接受channel写入的数据以指定的形式表现出来（或存储或展示）。

    sink的表现形式很多比如:打印到控制台、hdfs上、avro服务中、文件中等

  • 常见采集的数据类型

    • HDFS Sink
    • Hive Sink
    • Logger Sink
    • Avro Sink
    • HBaseSink
    • File Roll Sink

8.4 Event

event是Flume NG传输的数据的基本单位，也是事务的基本单位

在文本文件，通常是一行记录就是一个event。

网络消息传输系统中，一条消息就是一个event。

event里有header、body

Event里面的header类型：Map<String, String>

我们可以在source中自定义header的key：value，在某些channel和sink中使用header

9. Flume监听命令的执行结果

配置agent

############################################
# 对各个组件的描述说明
# 其中a1为agent的名字
# r1是a1的source的代号名字
# c1是a1的channel的代号名字
# k1是a1的sink的代号名字
############################################
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 用于描述source的，类型是linux命令
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F  /opt/flume/conf/logs/test01.txt

# 用于描述sink，类型是日志格式
a1.sinks.k1.type = logger

# 用于描述channel，在内存中做数据的临时的存储
a1.channels.c1.type = memory
# 该内存中最大的存储容量，1000个events事件
a1.channels.c1.capacity = 1000
# 能够同时对100个events事件监管事务
a1.channels.c1.transactionCapacity = 100

# 将a1中的各个组件建立关联关系，将source和sink都指向了同一个channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

运行agent,开始采集数据

flume-ng agent --name a1 --conf-file flume-exec.properties

10. 采集目录中新增文件的数据

配置agent

############################################
# 对各个组件的描述说明
# 其中a1为agent的名字
# r1是a1的source的代号名字
# c1是a1的channel的代号名字
# k1是a1的sink的代号名字
############################################
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 用于描述source的，监听的是一个目录
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /opt/flume/conf/logs/aa
a1.sources.r1.fileSuffix = .OK
a1.sources.r1.deletePolicy = never
a1.sources.r1.fileHeader = true

# 用于描述sink，类型是日志格式
a1.sinks.k1.type = logger

# 用于描述channel，在内存中做数据的临时的存储
a1.channels.c1.type = memory
# 该内存中最大的存储容量，1000个events事件
a1.channels.c1.capacity = 1000
# 能够同时对100个events事件监管事务
a1.channels.c1.transactionCapacity = 100

# 将a1中的各个组件建立关联关系，将source和sink都指向了同一个channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

运行agent,开始采集数据

flume-ng agent --name a1 --conf-file flume-dir.properties

11. 后台运行flume

nohup flume-ng agent --name a1 --conf-file flume-dir.properties >dev/null 2>&1 &

EVAO
关注
专栏目录
玩转大数据开发套件--（2）
大数据基础入门教程
04-25 2278
目前大数据工具林林总总，能解决的问题各方各面，但是在真正落地到企业的时候却往往因使用问题遇到障碍。为此星环针对使用体验上的需求打造大数据开发套件Transwarp Studio，深化大数据技术的应用，在数字化浪潮下推动大数据技术对产业的赋能。 本文将继续介绍Studio 5.1中的三个工具：高吞吐低延迟的日志存储分析工具Milano、界面化的全新数据流同步工具Transporter、以及功能再升...
大数据学习——Flume入门
5akura's Blog
08-06 2301
文章目录一、Flume概述1.1、Flume定义1.2、Flume基础架构二、Flume快速入门2.1、安装Flume部署2.2、入门案例2.2.1、监控端口数据（官方案例）Describe the sinkUse a channel which buffers events in memoryBind the source and sink to the channel2.2.2、实时监控单个追加文件2.2.3、监控文件 升级版2.2.4、监控文件夹变化2.2.5、断点续传——实时监控目录文件追加修改三、
腾讯大数据套件带你玩转大数据
曲士
09-11 5625
腾讯大数据
大数据技术——Flume的安装与部署
weixin_63106307的博客
08-10 402
（1）将apache-flume-1.10.1-bin.tar.gz上传到linux的/opt/software目录下。（2）解压apache-flume-1.10.1-bin.tar.gz到/opt/module/目录下。（3）下载地址：http://archive.apache.org/dist/flume/（3）修改apache-flume-1.10.1-bin的名称为flume。（4）修改conf目录下的。配置文件，配置日志文件路径。也就是修改以下两个内容。
大数据——Flume入门，基础，学习笔记
yuyangchenhao的博客
07-08 250
什么是Flume? Flume是一种分布式，可靠且可用的系统，用于有效地收集，聚合和移动大量日志数据. Flume组成 Agent：Agent是Flume最重要的组成部分，Flume系统就是由一个一个的Agent组成的. Source：Agent的内部组件，用于接收日志数据，并将其封装成一个一个的event，然后传给Channel. event：Flume系统内部将日志数据封装成event进行传输，event的结构是json串. Channel：传输通道，被动的接收Source传来的数据，并进行
大数据——FLUME
qq_23025855的博客
05-07 546
一、概述 flume是一种分布式，可以从各种数据源进行收集，聚集和转移大数据量的日志数据并进行存储的一种存储系统 二、版本 flume分为0.9.x和1.0.x两个版本，这两种版本并不兼容 三、概念和模型 event：flume事件，可以理解被定义为一个具有有效荷载的字节数据流和可选的字符串属性集，event将传输的数据进行封装，是flume传输数据的基本单位 agent：flume代...
大数据技术之Flume —— （1）一文入门学习Flume
m0_46615073的博客
09-12 427
Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 　Flume运行的核心是 Agent。Flume以agent为最小的独立运行单位。一个agent就是一个JVM。 agent 是一个jvm进程它以事件的形式将数据从源头送至目的。 一个agent主要由三部分组成 （source sink channel）
大数据技术之Flume（超级详细）
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
12-02 2287
Flume 是 Apache Software Foundation（ASF）的一个项目，用于高可靠、可扩展的大数据日志收集、聚合和传输。它通常被用于将分布式的、大规模产生的数据从各种源头（如Web服务器、应用程序日志等）采集到数据存储和处理系统（如Hadoop）中。
大数据入门第十二天——flume入门
weixin_30808693的博客
02-26 73
一、概述 　　1.什么是flume 　　　　官网的介绍：http://flume.apache.org/ 　　Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It ha...
搞定大数据平台：从入门到实战
06-12
《搞定大数据平台：从入门到实战》这门课程是一次全面深入的大数据技术之旅，旨在帮助初学者乃至无基础的同学建立起完整的数据处理和分析环境。课程涵盖了大数据领域中广泛使用的技术组件，确保学习者能够从零开始...
大数据技术——Hadoop3.X入门搭建+安装调优（1.入门）
m0_52435951的博客
04-10 3784
大数据技术——Hadoop3.X入门搭建+安装调优（1.入门）
大数据技术——Hadoop（学习笔记1）
RomanticRick的博客
03-25 2273
大数据技术——Hadoop Hadoop概述 Hadoop 运行环境搭建 1.Hadoop概述 1.1Hodoop是什么？ 1）Hadoop 是一个由Apache基金会所开发的分布式系统基础框架。 2）主要功能是处理海量数据的存储和海量数据的分析计算问题。 3）在广义上来说，Hadoop并不是单指一个技术和工具，它代表一个更广泛的概念——Hadoop生态圈。 1.2Hadoop发展历史（了解） 创始人：Doug Cutting Hadoop的大数据思想之源是来自Google在.
JSP学生学籍管理系统设计与实现(源代码+论文+开题报告+外文翻译+答辩PPT).zip
09-21
1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md或论文文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。 5、资源来自互联网采集，如有侵权，私聊博主删除。 6、可私信博主看论文后选择购买源代码。 1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md或论文文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。 5、资源来自互联网采集，如有侵权，私聊博主删除。 6、可私信博主看论文后选择购买源代码。 1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md或论文文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。 5、资源来自互联网采集，如有侵权，私聊博主删除。 6、可私信博主看论文后选择购买源代码。
省市区数据，完成三级联动，选择地区
09-21
省市区数据，完成三级联动，选择地区
机械原理课程设计网球自动捡球机.doc
最新发布
09-21
机械原理课程设计网球自动捡球机.doc
2024秋招华为笔试题大全-仅供参考具体需要根据实际修改
09-21
2024秋招华为笔试题大全-仅供参考具体需要根据实际修改
借助于Ascend310 AI处理器完成深度学习算法部署任务，
09-21
应用背景为变电站电力巡检，基于YOLO v4算法模型对常见电力巡检目标进行检测，并充分利用Ascend310提供的DVPP等硬件支持能力来完成流媒体的传输、处理等任务，并对系统性能做出一定的优化。.zip深度学习是机器学习的一个子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征，这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分： 1. **神经网络（Neural Networks）**：深度学习的基础是人工神经网络，它是由多个层组成的网络结构，包括输入层、隐藏层和输出层。每个层由多个神经元组成，神经元之间通过权重连接。 2. **前馈神经网络（Feedforward Neural Networks）**：这是最常见的神经网络类型，信息从输入层流向隐藏层，最终到达输出层。 3. **卷积神经网络（Convolutional Neural Networks, CNNs）**：这种网络特别适合处理具有网格结构的数据，如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络（Recurrent Neural Networks, RNNs）**：这种网络能够处理序列数据，如时间序列或自然语言，因为它们具有记忆功能，能够捕捉数据中的时间依赖性。 5. **长短期记忆网络（Long Short-Term Memory, LSTM）**：LSTM 是一种特殊的 RNN，它能够学习长期依赖关系，非常适合复杂的序列预测任务。 6. **生成对抗网络（Generative Adversarial Networks, GANs）**：由两个网络组成，一个生成器和一个判别器，它们相互竞争，生成器生成数据，判别器评估数据的真实性。 7. **深度学习框架**：如 TensorFlow、Keras、PyTorch 等，这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数（Activation Functions）**：如 ReLU、Sigmoid、Tanh 等，它们在神经网络中用于添加非线性，使得网络能够学习复杂的函数。 9. **损失函数（Loss Functions）**：用于评估模型的预测与真实值之间的差异，常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）等。 10. **优化算法（Optimization Algorithms）**：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam 等，用于更新网络权重，以最小化损失函数。 11. **正则化（Regularization）**：技术如 Dropout、L1/L2 正则化等，用于防止模型过拟合。 12. **迁移学习（Transfer Learning）**：利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就，但它也面临着一些挑战，如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
基于深度学习的物体识别与抓取方法，六自由度机械臂，python编写程序.zip
09-21
深度学习是机器学习的一个子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征，这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分： 1. **神经网络（Neural Networks）**：深度学习的基础是人工神经网络，它是由多个层组成的网络结构，包括输入层、隐藏层和输出层。每个层由多个神经元组成，神经元之间通过权重连接。 2. **前馈神经网络（Feedforward Neural Networks）**：这是最常见的神经网络类型，信息从输入层流向隐藏层，最终到达输出层。 3. **卷积神经网络（Convolutional Neural Networks, CNNs）**：这种网络特别适合处理具有网格结构的数据，如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络（Recurrent Neural Networks, RNNs）**：这种网络能够处理序列数据，如时间序列或自然语言，因为它们具有记忆功能，能够捕捉数据中的时间依赖性。 5. **长短期记忆网络（Long Short-Term Memory, LSTM）**：LSTM 是一种特殊的 RNN，它能够学习长期依赖关系，非常适合复杂的序列预测任务。 6. **生成对抗网络（Generative Adversarial Networks, GANs）**：由两个网络组成，一个生成器和一个判别器，它们相互竞争，生成器生成数据，判别器评估数据的真实性。 7. **深度学习框架**：如 TensorFlow、Keras、PyTorch 等，这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数（Activation Functions）**：如 ReLU、Sigmoid、Tanh 等，它们在神经网络中用于添加非线性，使得网络能够学习复杂的函数。 9. **损失函数（Loss Functions）**：用于评估模型的预测与真实值之间的差异，常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）等。 10. **优化算法（Optimization Algorithms）**：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam 等，用于更新网络权重，以最小化损失函数。 11. **正则化（Regularization）**：技术如 Dropout、L1/L2 正则化等，用于防止模型过拟合。 12. **迁移学习（Transfer Learning）**：利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就，但它也面临着一些挑战，如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
尚硅谷大数据技术：Flume入门与原理解析
在尚硅谷的大数据技术教程中，重点介绍了Flume这一日志采集和传输系统。Flume被设计为高可用、高可靠且分布式的，基于流式架构，便于数据处理。教程首先解释了Flume的基本概念，指出它是一个由Cloudera提供的工具，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值