flume ng研究一

最新推荐文章于 2024-06-30 14:00:50 发布
最新推荐文章于 2024-06-30 14:00:50 发布
阅读量91 收藏
点赞数
分类专栏： flume 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iteye_19493/article/details/82639275
版权

flume 是一套日志收集，转发/转存工具。NG的架构非常简单，整个只是AGENT，分3个部分,SOURCE （数据源连接器），CHANNEL （缓存），SINK(数据目的地连接器)。

整个应用有5个部分组成：数据源，SOURCE(只是数据源的连接器)，CHANNEL,SINK(只是数据目的地的连接器)，数据目的地。数据源和数据目的地数据flume系统之外的东西，中间3个属于FLUME。

 

CHANNEL的作用就是解耦SOURCE 和SINK。能很好的保障系统可靠性。比如使用文件系统做CHANNEL。

 

启动: bin/flume-ng agent -c conf/ -f conf/a1.properties -Dflume.root.logger=DEBUG,console -n a1

 

iteye_19493
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flume理论研究与实验
我的博客
12-17 229
一、理论研究 　1.1 总览　　 　　Flume是一个分布式的可靠的日志收集系统，主要是用于从各种数据源收集、聚合并移动大批量的日志数据到存储系统；它本身具有许多故障转移和恢复机制，具有强大的容错能力；它使用下面这样一个简单的可扩展的数据流模型来进行在线分析。 　1.2 核心概念 Event：一个FLume事件是贯通整个Agent的基本的数据单元。Event从Source流...
如何利用flume进行日志采集
EverythingAtOnce的博客
12-24 3193
Apache Flume 是一个分布式、可靠、高可用的日志收集、聚合和传输系统。它常用于将大量日志数据从不同的源（如Web服务器、应用程序、传感器等）收集到中心化的存储或数据处理系统中。Apache Flume 是一个强大的数据收集和传输工具，可以轻松地处理大量的数据流。使用本文提供的示例和概念，可以开始使用 Flume 并适应不同的数据采集和传输需求。本篇文章就介绍到这里，感兴趣的同学可以自己去深入研究，使用flume完成日志采集、关键字告警等一整套的业务。
Flume ng 与 og
chipi0028的博客
01-19 139
Flume Ng 与Og 的区别 核心组件变化 图 1 和图 3 是两个版本的架构图。 FLUM OG 的特点是： FLUM OG 有三种角色的节点，如图 1：代理节点（agent）、收集节点（collector）、主节点（master）。 agent 从各个数据源收集日志数据，将收集到的数...
Flume-ng源码分析--启动脚本解析
BattleWolf_HUA的博客
03-09 864
Flume源码分析–flume-ng解析 以此篇作为研究、学习源码的起步。 Flume简介 Flume 是一个高可用的、高可靠的分布式系统，可以从不同的数据源进行日志的采集、聚合、传输，可以将采集到的日志传输到HDFS、HBase、MySQL等。数据源和接收数据的端都是可定制的。 Flume本地化调试 1、安装java JDK。 2、从FLume官网下载编译好的flume包和flume源码包，并进...
docker-compose部署flume
angryshan的博客
05-06 932
supervisord.conf 是supervisord的配置文件，只是将最后的 [include] 配置项取消注释，指定到配置存放目录。上面构建的镜像只是将相应的服务打进了镜像里，使用时应挂载相应flume-ng配置和supervisor应用配置，以下为我使用。-compose启动flume服务的相应docker-compose.yaml部分配置。的解压包conf复制出来，因为映射会影响原容器内的内容。自己封装的运行脚本，代码可以自己研究一下。template文件到。
Flume NG 学习笔记（四）Source配置
mnasd的博客
08-21 798
一、Avro Source与Thrift Source Avro端口监听并接收来自外部的Avro客户流的事件。当内置Avro 去Sinks另一个配对Flume代理，它就可以创建分层采集的拓扑结构。官网说的比较绕，当然我的翻译也很弱，其实就是flume可以多级代理，然后代理与代理之间用Avro去连接 下面是官网给出的source的配置，加粗的参数是必选，描述就不解释了。 Propert...
高可用Hadoop平台－Flume NG实战图解篇
guolong1983811的专栏
03-01 349
http://www.cnblogs.com/smartloli/p/4468708.html 1.概述 　　今天补充一篇关于Flume的博客，前面在讲解高可用的Hadoop平台的时候遗漏了这篇，本篇博客为大家讲述以下内容： Flume NG简述单点Flume NG搭建、运行高可用Flume NG搭建Failover测试截图预览 　　下面开始今天的博客介绍。 2.Flume
Flume ng 实战图解篇
wjacketcn的专栏
03-16 3538
转自：http://www.cnblogs.com/smartloli/p/4468708.html 1.概述 　　今天补充一篇关于Flume的博客，前面在讲解高可用的Hadoop平台的时候遗漏了这篇，本篇博客为大家讲述以下内容： Flume NG简述单点Flume NG搭建、运行高可用Flume NG搭建Failover测试截图预览 　　下面开始今天的博客介绍。 2
Flume断点续传深入研究
小强签名设计 的博客
12-12 5835
方法一：在excel source中运用复杂的tail命令 在百度中搜索到一篇文章：https://my.oschina.net/leejun2005/blog/288136 可以在tail传的时候记录行号，下次再传的时候，取上次记录的位置开始传输，类似： agent1.sources.avro-source1.command = /usr/local/bin/tail  -n +$(tai
flume-ng安装
01-05
Flume-NG 是一个分布式日志收集系统，能够从各种数据源中实时采集数据，并将其传输到集中式存储系统中。本文将指导您完成 Flume-NG 的安装和基本配置。 安装 Flume-NG 1. 先决条件：Java JDK 安装 在安装 Flume-...
mvn flume ng sdk
09-28
1. **创建Maven项目**：首先，你需要创建一个新的Maven项目，并在`pom.xml`文件中声明对`flume-ng-sdk`的依赖。这可以通过添加如下依赖条目实现： ```xml <groupId>org.apache.flume <artifactId>flume-ng-sdk ...
flume-ng-sql-source-1.5.2
10-12
Flume-ng-sql-source-1.5.2是Apache Flume的一个扩展，它允许Flume从SQL数据库中收集数据。Apache Flume是一个分布式、可靠且可用于有效聚合、移动大量日志数据的系统。"ng"代表"next generation"，表明这是Flume的...
flumeng-kafka-plugin:flumeng-kafka-plugin
05-12
1. **配置**：配置flumeng-kafka-plugin涉及到设置Flume代理的配置文件，包括Kafka服务器的地址、要消费或发布的主题、以及认证信息等。 2. **性能优化**：考虑到Flume和Kafka的吞吐量，我们可能需要调整缓冲区大小...
Flume ng share
07-01
flume ng的分享资料. 启动到源码解析，到实例分享
hive安装
m0_74934794的博客
06-27 288
把hive的压缩包上传到虚拟机的目录我这里是解压文件到 /opt/softs修改文件名到中配置环境变量添加退出后一下把mysqljar包丢进来。
015、HBase分布式数据库与传统数据库的深度对比
最新发布
Code is fun.
06-30 1110
在大数据时代，选择合适的数据库系统至关重要。本文将深入探讨HBase分布式数据库与传统关系型数据库（如MySQL、Oracle）的区别，通过详细实例和研究成果分析两者的特点和适用场景。
Kafka入门到精通(二)-安装Zookeeper
weixin_52466601的博客
06-27 983
Zookeeper是一个开源的分布式协调服务，由Apache维护，旨在为分布式系统提供一致性、可靠性和高效的数据管理。它通过提供一系列简单易用的接口，封装了复杂且易出错的分布式一致性服务，构成了一个高效可靠的原语集。Zookeeper的设计目标包括提供高性能、高可用且具有严格顺序访问控制能力的分布式协调服务。顺序一致性：确保从一个客户端发起的事务请求最终会严格按照其发起顺序被应用到Zookeeper中。原子性。
mapreduce分区
m0_74934794的博客
06-26 416
计算用户消费的总金额，根据用户的不同性别，将结果输出到不同的文件中。其中返回的0，1，2表示最终输出文件的。
flume-ng未找到命令
05-18
如果你在执行 flume-ng 命令时出现 "未找到命令" 的错误提示，可能是因为 flume-ng 没有被正确安装或者没有被添加到系统环境变量中。你可以尝试以下解决方案： 1. 确认 flume-ng 是否已经安装。你可以使用命令行执行 `flume-ng version`，如果输出了版本号，则说明 flume-ng 已经安装成功。 2. 如果 flume-ng 没有被正确安装，你可以重新下载 flume-ng 并按照官方文档进行安装。 3. 如果 flume-ng 已经安装成功，但仍然无法在命令行中找到该命令，你需要将 flume-ng 所在的路径添加到系统环境变量中。具体步骤可以参考操作系统的相关文档或者搜索引擎查询。 希望以上解决方案能够帮助你解决问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值