arbari中创建新flume配置文件

最新推荐文章于 2024-04-02 23:15:55 发布
最新推荐文章于 2024-04-02 23:15:55 发布
阅读量7.7k 收藏
点赞数
分类专栏： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32502511/article/details/85046150
版权

我们都知道，在使用flume的时候，会针对不同的项目创建多个不同的配置文件运行。那么在使用arbari管理flume的时候，怎么在页面上动态创建配置文件并启动了。可按以下的步骤创建。

选择到默认配置文件这个地方，右边有个小加号，点击如图

然后选择Create a new Flume Configuration Group 输入名称，点击ok就可以完成创建啦。创建完成之后就可以在如下图划线部分那儿进行切换，切换到对应的配置文件进行编辑配置

 

小牛牛先生
关注
专栏目录
flume纯配置文件初步入门
BWM的博客
11-12 379
此博客仅针对flume当中conf配置文件首先我们来了解一下flumesource的配置功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导...
Flume配置文件
weixin_43247092的博客
08-18 595
Source、Channel、Sink有哪些类型 Flume Source Source类型 | 说明 Avro Source | 支持Avro协议（实际上是Avro RPC），内置支持 Thrift Source | 支持Thrift协议，内置支持 Exec Source | 基于Unix的command在标准输出上生产数据 JMS Source | 从JMS系统（消息、主
flume配置文件
竹叶青 的专栏
11-10 9477
转载自博客园张淼的博客-- 原文地址：http://www.cnblogs.com/zhangmiao-chp/archive/2011/05/18/2050443.html Flume配置文件(flume-site.conf)   1、 watchdog watchdog.restarts.max watchdog每分钟重启的最大数???
Flume配置文件简单整理
Forever_ck的博客
12-21 451
各配置文件信息如下： 一、Flume监控Hive日志信息并上传到Hdfs： # Name the components on this agent a2.sources = r2 a2.sinks = k2 a2.channels = c2 # Describe/configure the source a2.sources.r2.type = exec a2.sources.r2.command...
Flume 配置文件编写技巧（包会的，抄就完了）
最新发布
JIE的博客 --- moon_coder
04-02 1560
如果你在编写 Flume 配置文件时，分不清。
flume配置文件案例
09-27
flume配置文件，文件配了说明，可以拿下来改一改就用。 可以获取端口数据监听或者文件、文件夹内容监听，实时写入hdfs、mysql或者你需要的路径。
flume配置文件demo
11-06
在 "flume配置文件demo" 中，我们可以看到如何设置这些组件来创建一个简单的数据流，例如从一个日志文件收集数据，然后将数据写入 HDFS。实际应用中，可能需要根据需求调整配置，如添加多个 Source 或 Sink，使用更...
Flume学习文档(2){Flume安装部署、Flume配置文件}.docx
07-27
在本文档中，我们将深入探讨Flume的安装部署以及配置文件的使用。 首先，要安装Flume，你需要访问官方网站http://flume.apache.org/下载最新版本的Flume。在下载完成后，解压缩文件到你的服务器或开发环境中。安装...
Flume配置文件详解
香蕉牛奶棒棒槌的博客
10-29 2671
Flume配置文件详解 1.基本组成 (1)source 是flume获取数据的部分，source的类型有很多种，这里只介绍两种我们常用的。 1.Avro Source：监听节点上的某个端口，负责接收被监听端口的Avro流事件作为数据源。我们cbas的flume集群组的source类型大多是这种。 配置方式如下： xxx.sources = r1 定义一个名为r1的source xxx.channels = c1
flume配置文件详解
欢迎大神交流讨论
12-30 1564
a1.sources = r1 a1.sinks = k1 a1.channels = c1 ##注意：不能往监控目中重复丢同名文件 a1.sources.r1.type = spooldir (cdh) /exec(cdh) /taildir(apache1.7版本之后 ,监控文件和目录,断点续查) a1.sources.r1.spoolDir = /root/logs2 //监控的文件夹 a1.sources.r1.fileHeader = true a1.sinks.k1.type = hdfs.
Ambari-大数据平台的搭建利器
08-23
Ambari搭建的详细说明文档，通过本地源搭建Ambari服务
Flume配置
weixin_45294380的博客
06-10 878
目录 1.解压tar包 改名： 2.安装netcat工具 失败后，在/etc/yum.repos.d/CentOS-Base.repo下，覆盖以下内容： 3.创建Flume Agent配置文件flume-netcat-logger.conf 4.在/opt/module/flume/job目录下创建group1文件夹 5.创建配置文件 6.执行配置文件 启动Hadoop和Hive 检查/opt/module/datas/flume3目录中数据 1.解压tar包 tar -zx.
CentOS 7大数据平台之：ambari部署
fdsjzs1的博客
09-19 195
为什么放弃UBUNTU转到centos 如前人经验所说，ubuntu的系统确实不太稳定，在我的开发过程中，手上的三个ubuntu虚拟机运行过程中有时候常会弹出错误弹窗，但是要汇报错误之类的， 并且有时候start-all.sh之后并不是所有的node都能起来，常常出现要运行两次namenode才起来，或者是namenode运行一半就自动消失了的情况，看log的话网上的解决思路和我的问题背景不太一样...
基于ambari搭建hadoop生态圈大数据组件
热门推荐
大数据创新开发者、大数据技术开发、创新性大数据分享
01-22 1万+
Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。
Ambari——大数据平台的搭建利器(一)
weixin_42073629的博客
12-13 7697
Ambari是hadoop分布式集群配置管理工具，是由hortonworks主导的开源项目。它已经成为apache基金会的孵化器项目，已经成为hadoop运维系统中的得力助手，引起了业界和学术界的关注。 Ambari采用的不是一个新的思想和架构，也不是完成了软件的新的革命，而是充分利用了一些已有的优秀开源软件，巧妙地把它们结合起来，使其在分布式环境中做到了集群式服务管理能力、监控能力、展示能力。这些优秀开源软件有： 在agent端，采用了puppet管理节点; 在Web端，采用了ember.js
Flume详解（包括flume框架，flume安装测试等内容）
wudidahuanggua的博客
09-26 1919
flume详细介绍
Flume环境搭建及使用手册
qq_62485695的博客
03-12 2160
flume安装配置笔记
Flume的配置与使用
大头皮鞋的博客
12-04 3209
前提条件： 安装好hadoop2.7.3（Linux系统下） 安装好Flume，参考：Flume安装配置 问题： AvroSource接收外部数据源，Logger作为sink，即通过AvroRPC调用，将数据缓存在channel中，然后通过Logger打印出数据。 实验步骤： 1.进入有权限的目录，例如~目录 $ cd ~ 2.创建配置文件avro.conf（关键） ...
Flume配置文件总结
张鑫的博客
08-04 5598
无论是怎么配置在开头出都要进行命名 组件命名一：单个source和sink用这个 # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 组件命名二：单个source，多个sink用这个，当然有副本和负载均衡等模式 # Name the components on thi...
项目中创建一个Flume配置文件
06-10
好的，以下是在项目中创建一个Flume配置文件的步骤： 1. 在项目根目录下创建一个名为 `conf` 的文件夹，用于存放Flume配置文件。 2. 在 `conf` 文件夹中创建一个名为 `flume.conf` 的文件，在该文件中可以定义Flume的各种配置信息。 3. 在 `flume.conf` 文件中添加以下内容，作为一个简单的示例： ``` # 定义Flume的agent名称 agent1.sources = source1 agent1.sinks = sink1 agent1.channels = channel1 # 定义source类型和source的属性 agent1.sources.source1.type = exec agent1.sources.source1.command = tail -F /var/log/syslog # 定义sink类型和sink的属性 agent1.sinks.sink1.type = logger # 定义channel类型和channel的属性 agent1.channels.channel1.type = memory # 将source连接到channel agent1.sources.source1.channels = channel1 # 将sink连接到channel agent1.sinks.sink1.channel = channel1 ``` 4. 保存 `flume.conf` 文件。 现在你已经成功在项目中创建了一个Flume配置文件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小牛牛先生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值