Flume安装、配置及简单示例

最新推荐文章于 2022-04-29 22:22:48 发布
VIP文章 最新推荐文章于 2022-04-29 22:22:48 发布
阅读量442 收藏 1
点赞数
分类专栏： Big Data 文章标签： Flume 环境变量 Flume启动
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/NicoleSmith/article/details/77260024
版权

本文环境：

    操作系统：Windows 10　家庭中文版

　　Flume版本：１.７.０


1. 系统需求

　　Flume需要JAVA1.6及以上，对Agent监控目录的读写权限。

2. Flume官网下载

　　下载页面：http://flume.apache.org/download.html
　　下载地址：http://www.apache.org/dyn/closer.lua/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz

3. Flume

最低0.47元/天 解锁文章
NicoleCao
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
syslog-storm-sample:HDP上的syslog和Storm的快速示例
05-22
这是一个简单的演示项目，显示了从kafka主题收集风暴日志并将其推入HDFS的过程。 它还每n分钟将文件旋转到一个配置单元分区中。 入门 使用HDP 2.2.4，或在pom中相应地调整版本字符串。 在kafka客户端上，运行安装...
Flume的安装和使用
最新发布
qq_68383591的博客
05-29 2506
如果启动中提示PathNotFount: java.exe，则需要配置java的环境变量，JAVA_HOME=java的安装路径，在Path中配置%JAVA_HOME%\bin。注意：java的安装路径中尽量不要有空格。Windows系统中有一个目录“E:\bigdataCol\mylogs”，这个目录下不断有新的文件生成，使用Flume采集这个目录下的文件，并把文件内容显示到控制台（屏幕）。（1）在windows中打开telnet服务。切换到flume的bin目录。
Flume NG 简介及配置实战
xtqve的专栏
12-04 631
Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.94.0 中，日志传输
flume学习之二 flume安装和使用方法
技术人宝哥
04-17 4921
1、 先来个简单的：单节点 Flume 配置 telnet:example.conf ./bin/flume-ng agent --conf conf --conf-file ./conf/example.conf --name a1 -Dflume.root.logger=INFO,console PS：-Dflume.root.logger=INFO,console 仅为 debug 使
Flume之 各种 Channel 的介绍及参数解析
weixin_40727028的博客
04-06 6351
一、Channel介绍 Channel被设计为Event中转临时缓冲区，存储Source收集并且没有被Sink读取的Event，为平衡Source收集和Sink读取数据的速度，可视为Flume内部的消息队列。Channel线程安全并且具有事务性，支持source写失败重复写和sink读失败重复读等操作。 常用的Channel类型有Memory Channel、File Channel、KafkaChannel等。 1、Memory Channel 对比Channel, Memory Channel读写速度快
win10安装 flume1.9.0
haokelaicds的博客
04-11 1325
win10安装 flume1.9.0 参考：https://blog.csdn.net/yamaxifeng_132/article/details/110123993 注意：flume 运行需要java环境，所以运行flume之前必须安装并配置java环境（如果安装了jdk，但是没有配置jdk环境，运行 flume 时会抛出找不见 java.exe 的错误）。 第一步：下载flume并解压，下载地址： http://www.apache.org/dyn/closer.lua/flume/1.9.0/apa
Hadoop硬实战 [（美）霍姆斯著][电子工业出版社][2015.01]_PDF电子书下载 带书签目录 高清完整版.rar )
12-08
12．1．3　简单示例 12．2　发现日志中最热门的URL 技术点77　使用Crunch 进行日志解析和基本分析 12．3　合并 技术点78　Crunch 的repartition join 12．4　Cascading 12．5　本章小结 13　测试和调试． 13．1　...
JAVA上百实例源码以及开源项目源代码
12-11
JAVA+JSP的聊天室 8个目标文件 简单 JavaScript万年历 显示出当前时间及年份，还可以选择年份及月份和日期 Java编写的HTML浏览器 一个目标文件 摘要:Java源码,网络相关,浏览器 Java编写的HTML浏览器源代码，一个很...
JAVA上百实例源码以及开源项目
01-03
一个简单的CS模式的聊天软件,用socket实现,比较简单。 凯撒加密解密程序 1个目标文件 1、程序结构化，用函数分别实现 2、对文件的加密，解密输出到文件 利用随机函数抽取幸运数字 简单 EJB的真实世界模型（源代码...
数据采集入门——Flume应用
m0_47396944的博客
04-29 2164
Flume应用 Flume是一个分布式、可靠、高可用的海量日志采集、聚合和传输的系统。 Flume系统中核心的角色是agent，agent本身是一个Java进程，一般运行在日志收集节点。一个agent内部有三个组件： · Source：采集源，用于跟数据源对接，以获取数据； · Channel：agent内部的数据传输通道，用于从source将数据传递到sink； · Sink：下沉地，采集数据的传送目的，用于往下一级agent传递数据或者往最终存储系统传递数据 在整个数据的传输的过程中，流动的是event
flume常用功能总结
hiscoming的博客
03-06 412
1.通过netcat作为source，sink为logger的方式 flume指令： ./bin/flume-ng agent --conf conf --conf-file ./conf/example.conf -name a1 -Dflume.root.logger=INFO,console 发送端：[root@master ~]# telnet localhost 44444 flume接收： 2021-01-21 22:15:39,225 (SinkRunner-PollingRunner-D
Flume集群环境搭建以及几种类型的conf配置文件
ForgetThatNight的博客
04-22 2780
1、Flume的安装非常简单，只需要解压即可，当然，前提是已有hadoop环境上传安装包到数据源所在节点上然后解压  tar -zxvfapache-flume-1.6.0-bin.tar.gz，然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME2、根据数据采集的需求配置采集方案，描述在配置文件中(文件名可任意自定义)3、指定采集方案配置文件，在相应的...
flume安装与配置
热门推荐
越开源越幸运
02-04 2万+
目录 Flume工作原理 flume安装 下载解压 配置环境变量 配置flume-env.sh文件 版本验证 Flume部署示例 Avro Spool Exec 后台运行flume MongoDB写入 Windows配置flume 配置flume环境变量 两个flume做集群 监控文件 flume centos：https://blog.csdn.net/qq_...
flume的安装教程
Mr_Yang888的博客
12-04 1万+
第一步：把Flume的压缩包进行解压 tar -zxvf apache-flume-1.8.0-bin.tar.gz 第二步：修改conf下的flume-env.sh，在里面配置JAVA_HOME vi flume-env.sh 第三步：修改netcat-logger.conf文件 vi netcat-logger.conf 以下内容拷贝到文件中 # 定义这个agent中各组件的名字 a1...
大数据实战第二十六课 - Flume上（安装与配置）
zhikanjiani的博客
06-14 453
1、下载： 进入到此网址：http://archive.cloudera.com/cdh5/cdh/5/，找到flume-ng-1.6.0-cdh5.7.0.tar.gz， 进入Hadoop机器下，cd /home/hadoop/app，wget http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0.tar.gz，下载，下...
Flume 配置环境变量 *
张俊杰 的博客
10-17 2812
开始配置环境变量 进入 /etc目录下面 修改profile 配置文件 [root@zjj101 etc]# pwd /etc [root@zjj101 etc]# vim profile # 配置Flume 环境变量开始 export FLUME_HOME=/root/soft/apache-flume-1.7.0 export FLUME_CONF_DIR=$FLUME_HOME/conf export FLUME_LOG_DIR=$FLUME_HOME/log export PATH=$PATH
centos7 jdk&flume环境变量配置
随风*惊云的博客
12-04 429
unset i unset -f pathmunge export JAVA_HOME=/opt/jdk1.8.0_231 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH export JAVA_PATH=${JAVA_HOME}/bin:${JRE_H...
Flume环境搭建及主要的对接示例（超详细）
zht245648124的博客
05-12 619
1.Flume简介 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 支持在日志系统中定制各类数据发送方，用于收集数据； 同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力。 名词介绍： Flume OG：Flume original generation,即Flume0.9x版本 Flume NG：Flume next...
flume启动失败原因
流的博客
11-29 6387
输入： flume-ng agent -c /root/apps/apache-flume-1.6.0-bin/conf -f ./avro-hdfs.conf -n al -Dflume.root.logger=INFO,console 控制台打印 Info: Including Hive libraries found via () for Hive access + exec /root/...
flume配置文件
05-29
Flume 是一个分布式的、可靠的、高效的海量日志采集、聚合和传输系统。它可以将数据从各种源头（如日志文件、消息队列、网络等）采集到 Hadoop 生态系统中的各种存储和计算系统（如 HDFS、HBase、Kafka、Spark 等）。 下面是一个简单的 Flume 配置文件示例： ``` # 定义 Flume agent 的名称 agent1.sources = source1 agent1.sinks = sink1 agent1.channels = channel1 # 配置 source1 agent1.sources.source1.type = spooldir agent1.sources.source1.spoolDir = /opt/flume/spool agent1.sources.source1.fileHeader = true agent1.sources.source1.interceptors = i1 agent1.sources.source1.interceptors.i1.type = timestamp # 配置 sink1 agent1.sinks.sink1.type = hdfs agent1.sinks.sink1.hdfs.path = hdfs://localhost:9000/user/flume/data agent1.sinks.sink1.hdfs.fileType = DataStream # 配置 channel1 agent1.channels.channel1.type = memory agent1.channels.channel1.capacity = 1000 agent1.channels.channel1.transactionCapacity = 100 # 将 source1 和 sink1 绑定到 channel1 agent1.sources.source1.channels = channel1 agent1.sinks.sink1.channel = channel1 ``` 该示例配置文件中定义了一个名为 agent1 的 Flume agent，它包含一个名为 source1 的 source、一个名为 sink1 的 sink 和一个名为 channel1 的 channel。其中，source1 从指定的目录中采集数据，并在数据文件中添加时间戳信息；sink1 将数据写入到 HDFS 中指定的目录中；channel1 为内存型 channel，具有一定的容量和事务能力。最后，source1 和 sink1 都绑定到 channel1 上。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值