flume配置完成后启动代码

最新推荐文章于 2022-03-11 11:34:38 发布
最新推荐文章于 2022-03-11 11:34:38 发布
阅读量255 收藏
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44054827/article/details/102464540
版权

 

./flume-ng agent -C ../conf/ -f ../dir-hdfs.conf -n ag1 -Dflume.root.logger=INFO，console

 

    INFO,console   是逗号不是点

-Dflume.root.logger=INFO，console：打印到控制台
 
 -C ../conf/  ：   配置信息
 
 -f ../dir-hdfs.conf   ：配置文件的位置
 
 -n ag1   :    agent的名字

 

 

我琴美如画中仙m
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flume源码阅读记录（3）flume启动组件Application代码分析
SW_LCC的博客
06-30 299
public class Application { private static final Logger logger = LoggerFactory .getLogger(Application.class); public static final String CONF_MONITOR_CLASS = "flume.monitoring.type"; pub...
[转] flume使用（六）：后台启动及日志查看
weixin_30764771的博客
11-30 468
【From】https://blog.csdn.net/maoyuanming0806/article/details/80807087 处理的问题flume 普通方式启动会有自己自动停掉的问题，这可能是linux的进程机制把他停掉的原因。 普通运行方式： ./flume-ng agent -c ../conf -f ../conf/g01-taildir-avro-sink.co...
Flume -总结1- 启动flume的参数说明
99滴神
05-10 894
启动命令 [root@qianfeng01 ~]# flume-ng agent -n a1 -c conf -f ${FLUME_HOME}/flumeconf/syslog-m-log.conf -Dflume.root.logger=INFO,console 启动命令由4部分组成： -n $agent_name：这里指定启动的agent 名，按照配置文件中的命名这里应该替换成a1 -c conf： 指定配置文件目录，可以是相对路径或绝对路径 -f ${FLUME_HOME}/flume.
Flume的概述与入门
lslslslslss的博客
12-27 540
一、概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。并于2009 年被捐赠给了apache 软件基金会，是hadoop的一个相关组件。Flume基于流式架构，灵活简单。 那么为什么使用Flume 1.HDFS最怕的就是小文件过多，如果直接从磁盘文件夹读取，会产生大量的小文件 2. 二、Flume的架构 1. Agent Agent主要有3个部分...
Flume 报错指南
weixin_50831726的博客
03-11 941
在启动命令flume后：flume-ng agent -n a1 --conf /opt/software/flume160/conf/ -f /opt/flumeconf/file_hdfs.conf -Dflume.root.logger=INFO,console -n 表示重命名 –conf flume的conf目录读取配置文件 -f 读取本次flume执行操作的配置文件（sources、channels、sinks的具体配置） -Dflume.root.logger=INFO,console
flume 1.8所有源代码 编译通过版 附 maven3.5.2 安装包
08-23
要搭建Flume的远程测试环境，你需要配置Flume配置文件（通常是`flume.conf`）。在配置文件中定义Agent，指定数据源、通道和接收器，并配置它们之间的交互。例如，你可以创建一个从Web服务器日志文件中读取数据的...
flume_jars.zip
03-18
在Java代码中，可以创建Flume配置对象，启动Flume Agent，并指定源、通道和接收器的配置，从而实现自定义的数据收集流程。 总的来说，“flume_jars.zip”压缩包提供了一套完整的Flume开发环境，使得开发者能够在...
flume kafak实验报告.docx
07-07
配置环境变量后，通过运行测试命令验证 Flume 是否安装成功。 2. **Flume 与 Spark Streaming 集成**：在 DEA（可能是开发环境或服务器）上，通过 Maven 管理项目，将 `spark-streaming-flume-sink_2.11-2.4.2.jar`...
apache-flume-1.9.0-bin.tar.gz
07-28
安装完成后，你可以通过命令行启动 Flume Agent，如 `flume-ng agent --conf conf --conf-file conf/flume.conf --name agent -Dflume.root.logger=INFO,console`。 总的来说，Apache Flume 1.9.0 是一个强大的工具...
Flume对接Spark Streaming的相关jar包
12-20
配置 Flume 配置文件（通常是 conf/flume.conf），设置 sink 类型为 `org.apache.spark.streaming.flume.sink.SparkStreamingSink`，并指定相应的 Spark 配置，如 Master URL、批次间隔等，完成 Flume 与 Spark ...
Flume部署和启动
lmh94604的专栏
05-27 4828
Flume启动命令     flume-ng agent  --conf  conf  --conf-file  conf/file.log --name agent1 -Dflume.root.logger=DEBUG, console     -c (--conf) ： flume的conf文件路径     -f (--conf-file) ： 自定义的flume配置文件     -n
flume启动不了--启动问题不输出日志警告
热门推荐
搞数据
08-08 1万+
[root@yangcl bin]# flume-ng agent -n a1 -c conf -f ../conf/example.conf  -Dflume.root.logger=INFO,console Info: Including Hive libraries found via () for Hive access + exec /usr/java/jdk1.8.0_181/bin...
解决 flume KafkaSink 启动后cpu占用100%的问题
n01boy的博客
06-21 3593
工作中遇到的问题。
Flume - 安装及启动命令详解
longxiweiyi的博客
12-29 2743
Flume - 安装及启动命令详解
一, Flume入门和典型案例实操
菜菜的大数据开发の路
08-24 497
Flume(日志收集, 聚合, 传输的工具) 一, Flume 概述 1. Flume 定义 [定义] Flume 是 Cloudera 提供的一个高可用(available)的, 高可靠(reliable), 分布式(distribute)的海量日志采集(collecting), 聚合(aggregating)和传输(moving)的系统. Flume 基于流式架构, 灵活简单. [Why Flume?] [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LfMx27dN-
Flume数据采集 启动、停止脚本
qq_39297673的博客
06-29 483
#! /bin/bash # 功能：flume采集数据启动、停止 # 参数：Agent （flume的配置文件名） # flume是根据配置文件配置项，启动，采集数据的 # 说明：配置文件写在 $FLUME_HOME/jobs 目录下 Agent=$2 case $1 in "start"){ for i in hadoop102 hadoop103; do echo " ================== 启动 $i 采集fl
启动spark集群
qq_44054827的博客
12-24 197
./zkmanager.sh start start-all.sh 进入/root/apps/spark-2.4.4-bin-hadoop2.7/sbin start-all.sh 浏览器进入 http://hdp-1:8080/ hdp-2 /root/apps/spark-2.4.4-bin-hadoop2.7/sbin ./start-master.sh hdp-3 /root/ap...
FLUME启动遇到的坑
m0_58149226的博客
03-11 4665
首先我的环境 hadoop版本: 3.1.x版本 flume版本: 1.9.0 安装启动配置source,channel,sink 启动flume 消费kafkaTopic中的数据,将数据上传到hdfs报错:如下 出现该问题有可能是三种情况: 一、环境变量未配置 在安装了flume的所有机器上，首先都需要配置hadoop环境变量 配置环境变量即可 二、flume安装目录中lib文件夹下的guava-11.0.2.jar的版本不兼容 hadoop3.0.x上hadoop/sha..
解决启动flume时,出现问题警告和报错的问题 No configuration directory set
qq_44513460的博客
12-18 7881
解决flume在启动时,出现的警告和报错问题
如何安装配置启动flume
最新发布
04-06
其中，--conf指定配置文件路径，--conf-file指定flume配置文件路径，--name指定agent的名称，-Dflume.root.logger指定日志级别。 启动后，可以在终端看到flume的日志输出，表示启动成功。 以上就是安装配置启动...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值