flume 1.4 设置FLUME_CONF_DIR没用

最新推荐文章于 2021-12-18 12:48:37 发布
最新推荐文章于 2021-12-18 12:48:37 发布
阅读量110 收藏
点赞数
文章标签： 大数据
原文链接：http://www.cnblogs.com/linc09/p/3536433.html
版权

今天安装Apache Flume 1.4的时候，发现设置了FLUME_CONF_DIR环境变量和flume-env.sh后，运行flume-ng时flume-env.sh中的JAVA_HOME没有生效，但是flume-env.sh注释中写了FLUME_CONF_DIR/flume-env.sh会生效，感觉这是个bug，现在没法用FLUME_CONF_DIR，还是用--conf参数来指定配置文件目录。

转载于:https://www.cnblogs.com/linc09/p/3536433.html

weixin_30551947
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
flume-demo_大数据_flume_DEMO_自定义拦截器_
10-04
利用java实现了flume的自定义拦截器，实现过滤数据
flume安装 and 官方小案例
qq_44028464的博客
01-11 198
1. flume概述及组成架构 Flume概念 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单 Flume的最主要左右是：实时读取服务器本地磁盘的钱数据，将数据写入到HDFS。 Flume组成架构 Agent Source ————> Channel ————>Sink Flume组成架构详解...
Flume环境变量
u022731937的博客
04-17 821
export FLUME_HOME=/usr/development/apache-flume-1.3.0-bin export FLUME_CONF_DIR=$FLUME_HOME/conf export FLUME_LOG_DIR=$FLUME_HOME/log export PATH=$PATH:$FLUME_HOME/bin 参考：[url]http://www.linuxid...
记录cm下flume遇到的坑
Antony868的博客
12-05 307
记录cm下flume遇到的坑 仅记录一下… CM 5.12 安装的 flume采集日志一直oom，查看jps，居然agent启动参数-Xmx20M？？？！！！ 怀疑是cm配置有问题，默认为50M，改为256M 重启后发现任然是-Xmx20M？？、！！！ 可是后面又跟着我修改的-Xmx258M，猜测是安装的flume有问题…然后删除又重装…一顿操作以后，任然-Xmx20M？？？？！！！！ 受不...
记flume部署过程中遇到的问题以及解决方法
硅谷纵横
11-16 2168
项目需求是将线上服务器生成的日志信息实时导入kafka，采用agent和collector分层传输，app的数据通过thrift传给agent，agent通过avro sink将数据发给collector，collector将数据汇集后，发送给kafka，拓扑结构如下： 现将调试过程中遇到的问题以及解决方法记录如下： 1、 [ERROR - org.apache.thrift.s...
Flume日志采集系统安装与使用
weixin_43640161的博客
11-10 1027
Flume日志采集系统安装与使用 三、实验实现过程 重要知识点： 1.Flume是Cloudera提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接收方的能力。 实验内容与步骤： 一、Flume的安装与配置 1.Flume的下载安装 在Ubuntu下打开官网：http://flume.apache.org/download.html进行下载， 建议下载稳定版本apache
flume_exporter:普罗米修斯水槽出口商
05-27
flume_exporter 普罗米修斯水槽出口商。 要运行它： make build ./flume_exporter [flags] 标志帮助： ./flume_exporter --help 配置：config.yml agents: - name: "flume-agents" enabled: true # ...
Flume_离线处理_日志收集1
08-03
发送日志到Flume在日志服务器应用中导入Log4jAppernder相关开发包配置log4j配置文件，实现发送日志给flume在日志服务器的LogServle
Flume_实时分析_日志收集1
08-03
修改Flume中心服务器配置#配置Agent#声明Source#声明channel#绑定关系增加kafkaSink，将数据实时导入kafka创建对应主题：启动消
es522_flume16_bak0827_succ_modify.zip
08-27
flume1.6 es5.2.2
flume配置启动
siyongshuai的专栏
10-16 4160
flume学习核心：配置个性化-组件的类型Flume（2）组件概述与列表Flume 入
Flume的安装与使用方法
热门推荐
码农阿益的博客
11-15 4万+
一：安装flume flume下载地址： [flume下载官网] 通过SSH工具将flume文件从window系统发送到Ubuntu中，如下图。 1.解压安装包 cd ~ cd 下载 sudo tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local # 将apache-flume-1.9.0-bin.tar.gz解压到/usr/local目录下，这里一定要加上-C否则会出现归档找不到的错误 cd /usr/local sudo mv ./apa
解决启动flume时,出现问题警告和报错的问题 No configuration directory set
qq_44513460的博客
12-18 7591
解决flume在启动时,出现的警告和报错问题
flume相关简介和部署以及自动重启
lzlnd的博客
12-18 2211
简介： 核心是agent agent的核心：source，channel，sink，一台机器运行跟一个agent source：处理各种类型、各种格式的日志数据，将数据包装秤event channel：缓存数据event，对采集到的数据进行简单的缓存 sink：将数据发送到指定的目的地的组件 运行机制 source收集到数据，发送给channel，channel缓存数据，sink发送...
flume 不报错但是不能正常使用
weixin_34329187的博客
12-07 800
flume-ng agent --conf ./conf/ --conf-file ./conf/test1.conf --name a1 -Dflume.root.logger=INFO,console 可以加上logger输出 看看会不会打印出错误 转载于:https://www.cnblogs.com/yaohaitao/p/6141715.html...
flume常用配置文件
drl_blogs的博客
07-09 513
文章目录kafka-hdfs.confflume-kafka.confflume-hdfs.confflume_pull_streaming.confflume_push_streaming.conf kafka-hdfs.conf #定义agent名， source、channel、sink的名称 a1.channels = c1 a1.sinks = k1 a1.channels.c1.ty...
flume加载问题整理
磊的博客
06-20 4069
failed to start agent because dependencies were not found in classpath flume-env.sh中需要同时设置JAVA_HOME和HCAT_HOME failed to connecting to Endpoint hive服务器没有启动 bin/hive --service metastore & bi
数据采集工具Flume的安装和使用
weixin_42393089的博客
07-15 577
一.定义 数据采集是大数据分析全流程的重要环节，典型的数据采集工具包括ETL工具、日志采集工具、数据迁移工具等。 Flume是一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。 二.Flume 的安装配置 1.下载flume wget http://mirror.bit.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz...
flume日志抓取设计
然月 枕流君
10-21 1万+
近期实在没有什么可写的了, docker遇到很多的坑, 只能先写一点其他的东西, flume用的公司很多, 不过一般成熟的一二线的公司基本是很少使用, 他的性能和网络传输一直是有提升空间的, 对于我们这些小公司出身的人,曾经还是靠他混饭吃的. 设计是两年前的实现, 现在觉得很多不是很合理的地方,特别是在分流的设计上,不过flume的传输占带宽的问题也一直没有解决,曾经对flume做了部分优化,写
# .bashrc export JAVA_HOME=/usr/java/jdk1.8.0_361 export FLUME_HOME=/usr/local/flume export FLUME_CONF_DIR=$FLUME_HOME/conf export PATH=$PATH:$FLUME_HOME/bin # Source global definitions if [ -f /etc/bashrc ]; then . /etc/bashrc fi
最新发布
06-10
具体来说，它将 JAVA_HOME 设置为 /usr/java/jdk1.8.0_361，将 FLUME_HOME 设置为 /usr/local/flume，将 FLUME_CONF_DIR 设置为 $FLUME_HOME/conf，将 $FLUME_HOME/bin 添加到 PATH 中，以便可以直接运行 Flume 命令...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值