flume-ng配置文件详解（四）

最新推荐文章于 2024-08-14 07:00:00 发布
最新推荐文章于 2024-08-14 07:00:00 发布
阅读量392 收藏
点赞数
文章标签： hadoop 大数据 mapreduce flume-ng HDFS

1  高可用

对于一个系统而言，高可用指在一个固定时间内，系统无故障运行的时间。


1.1  Source高可用

Agent实例用来作为Source源收集数据的时候，当Agent进程死掉时候，这时候会降低系统的高可用。

Agent在supervise下启动，如果Agent进程死掉，会自动启动。

对Agent进程进行监控，死掉之后进行报警。


1.2 Sink高可用

Agent实例用来作为Sink存储数据的时候

当Agent进程死掉时候，这时候可以利用Flume提供的FailOver或者Loadbalance实现sink的高可用。


2  高可靠


可靠性就是flume中event事件流确保传入下一个Agent或者存储到存储介质中

flume为了确保高可靠，当Agent的channel中数据传入到下一个Agent或者最终存储介质中，才会删除channel中数据


3 高可扩展


Source理论上可以无限水平扩展

Source到Sink采取LoadBalance，Sink层也可以无限扩展

豹变
关注
flume配置文件详解
欢迎大神交流讨论
12-30 1565
a1.sources = r1 a1.sinks = k1 a1.channels = c1 ##注意：不能往监控目中重复丢同名文件 a1.sources.r1.type = spooldir (cdh) /exec(cdh) /taildir(apache1.7版本之后 ,监控文件和目录,断点续查) a1.sources.r1.spoolDir = /root/logs2 //监控的文件夹 a1.sources.r1.fileHeader = true a1.sinks.k1.type = hdfs.
Flume配置文件详解
香蕉牛奶棒棒槌的博客
10-29 2671
Flume配置文件详解 1.基本组成 (1)source 是flume获取数据的部分，source的类型有很多种，这里只介绍两种我们常用的。 1.Avro Source：监听节点上的某个端口，负责接收被监听端口的Avro流事件作为数据源。我们cbas的flume集群组的source类型大多是这种。 配置方式如下： xxx.sources = r1 定义一个名为r1的source xxx.channels = c1
flume-ng配置文件详解（三）
wyl6019的博客
11-22 771
8 Replicating Channel Selector flume从一个agent1将event发送到多个通道，称为数据的复制 关键配置：agent1.sources.r1.selector.type = replicating 在192.168.100.200节点上 [root@localhost apache-flume-1.7.0-bin]# vi
深入解析Nginx配置文件：从入门到精通
最新发布
xycxycooo的博客
08-14 1202
Nginx的配置文件通常位于（包管理器安装）或（源码编译安装）。此外，Nginx还支持通过include指令包含其他配置文件，常见的配置文件目录包括和。Nginx的配置文件是其强大功能的核心，通过灵活的配置指令和模块化设计，Nginx能够适应各种复杂的应用场景。本文详细介绍了Nginx配置文件的结构、常用指令和高级用法，帮助读者全面理解并掌握Nginx的配置技巧。希望本文能帮助读者更好地理解和应用Nginx，构建高效、稳定的Web系统。
flume-ng配置文件详解（一）
wyl6019的博客
11-22 2317
1 Avro案例 [root@localhost conf]# vi avro.conf agent1.sources = r1 agent1.sinks = k1 agent1.channels = c1   agent1.sources.r1.type = avro agent1.sources.r1.channels = c1 agent1.sources.r1.bi
Flume详细配置
weixin_36058293的博客
07-04 798
Flume： ===================== Flume是一种分布式的、可靠的、可用的服务，可以有效地收集、聚合和移动大量的日志数据。 它有一个基于流数据的简单而灵活的体系结构。 它具有健壮性和容错能力，具有可调的可靠性机制和许多故障转移和恢复机制。 它使用一个简单的可扩展数据模型，允许在线分析应用程序。 source：源 ...
flume-ng-sql-source-1.5.2
10-12
2. **Flume-ng-sql-source详解**： - **配置**：用户需要在Flume配置文件中定义Source，包括数据库连接信息（如URL、用户名、密码）、SQL查询语句、执行频率等。 - **事件生成**：每次查询执行后，查询结果的每一...
flume-pg-sink:水槽-ng postgresql 数据库接收器
07-06
《Flume-PG-Sink：基于Flow-ng的PostgreSQL数据库接收器详解》 在大数据处理领域，Apache Flume是一款广泛使用的分布式、可靠且可用于有效收集、聚合和移动大量日志数据的工具。它设计的核心理念是简单性、可扩展性...
flume-ng-elasticsearch-sink-6.5.4.jar.zip
05-13
在Flume配置文件（如`conf/flume.conf`）中，我们需要定义一个Agent，并指定其Source、Channel和Sink。对于Elasticsearch Sink，配置示例如下： ``` agent.sources = source1 agent.channels = channel1 agent....
flume-ng-sql-source-1.4.3.jar
11-08
4. **配置**：使用 SQL Source 需要在 Flume 配置文件中定义源、通道和接收器。配置项包括数据库连接信息（如 JDBC URL、用户名、密码）、查询语句以及执行查询的频率。例如： ``` agent.sources = sqlSource ...
Kafka+Flume-ng搭建
07-02
### Kafka+Flume-ng搭建详解 #### 一、概述 Kafka+Flume-ng是一种高效的数据传输方案，常被用于大数据处理系统中。Kafka作为一款高性能的消息队列中间件，能够提供高吞吐量的消息发布订阅服务。而Flume-ng则是一款...
flume 真实案例配置文件
10-18
flume agent收集数据 一个源对于两个sink 同时输出到hdfs和kafka 的配置文件，注意其中的 source绑定channel时候 channel1 channel2 不能分开写，该配置文件已经过集群实验成功收集到数据的
Flume配置文件
我是60岁程序员
10-11 273
使用flume的关键就是写配置文件 A)配置source B)配置channel C)配置sink D)把三个组件串起来 a1:agent名称 r1:source名称 k1:sink名称 c1:channel名称 Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 Describe/con...
【flume 配置详解】
scott_bing的专栏
04-24 2780
在上面的配置中，我们可以看到agent1.sources、agent1.channels和agent1.sinks这些属性，它们分别对应了源、通道和目标组件的配置，而agent1.sources.source1.type、agent1.sources.source1.command、agent1.channels.channel1.type等则对应了各自的属性。在上面的配置中，我们使用了内存通道(Memory Channel)，它的容量设置为1000，即最多可以存储1000个Event事件。
nginx配置文件详解中文版
zxh2075的专栏
09-26 475
本文列出了nginx默认配置文件 nginx.conf手大部分命令，并加以中文注释说明，实际配置中可能没有这么复杂，这里只能作为一个参考阅读文档！ 一、nginx基本配置 复制代码 代码如下: #定义Nginx运行的用户和用户组,系统中必须有此用户,可以是nologin user www www;   #启动进程,通常设置成和cpu的数量相等 worker_proce
最全Flume常用配置文件详情解析
选择大于努力，所以你的选择是什么？
05-08 2823
最全Flume常用配置文件详情解析 Alienware^ 于 2020-08-19 21:08:09 发...
Nginx配置文件中文详解
MasterD56的博客
05-04 534
Nginx配置文件nginx.conf中文详解
Flume配置文件简单整理
Forever_ck的博客
12-21 451
各配置文件信息如下： 一、Flume监控Hive日志信息并上传到Hdfs： # Name the components on this agent a2.sources = r2 a2.sinks = k2 a2.channels = c2 # Describe/configure the source a2.sources.r2.type = exec a2.sources.r2.command...
Flume-ng详解：日志采集与传输系统
安装和使用Flume涉及配置文件的编辑，其中定义了Agent的结构和行为。开发人员可以通过扩展Flume的API来自定义组件，增强其功能。官方提供了用户文档、开发文档等资源，方便开发者深入理解和开发Flume。 Flume作为一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值