在Windows下的flume 安装，部署及和kafka组合使用

已于 2022-05-09 14:11:51 修改
阅读量8k 收藏 69
点赞数 12
分类专栏： flume 文章标签： flume hadoop zookeeper
于 2022-04-06 12:24:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hhjdshz/article/details/123980656
版权

注意:如果是做kafka链接flume实验的小伙伴，可以直接从第五步开始

一，Windows下配置环境变量

此电脑->右键属性->系统->高级系统设置->环境变量

（1） 环境变量名：FLUME_HOME

变量值：就是安装的flume的路径

例如我自己的是：FLUME_HOME；E:\flume\apache-flume-1.9.0-bin

（2）在path变量中添加 %FLUME_HOME%\conf;%FLUME_HOME%\bin;然后依次保存我们所做的修改即可。 编辑 apache-flume-1.9.0-bin\conf 下的flume-env.sh（如果没有，复制flume-env.sh.template重命名为flume-env.sh） 在最后行输入：export JAVA_HOME = 安装的jdk路径

（3）打开cmd输入：flume-ng version，显示相对应的版本号，则flume安装成功

最低0.47元/天 解锁文章
valentines夏
关注
  • 12
    点赞
  • 踩
  • 69
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
Flume1.5.0入门：安装、部署、及flume的案例
02-25
本文来自于about云开发,文章主要从安装、部署、及flume的案例，运用代码进行详细介绍，希望对大家有帮助。　　flume作为cloudera开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume初始的发行版本目前被统称为FlumeOG（originalgeneration），属于cloudera。但随着FLume功能的扩展，FlumeOG代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在FlumeOG的最后一个发行版本0.94.0中，日志传输不稳定的现象尤为严重，为了解决这些问题，2011年10月22号，cloudera完成了Flume-728，对Flume进
flume-ng+Kafka+Storm+HDFS实时系统组合
01-30
5.使用什么脚本可以查看flume有没有往Kafka传输数据做软件开发的都知道模块化思想，这样设计的原因有两方面：一方面是可以模块化，功能划分更加清晰，从“数据采集--数据接入--流失计算--数据输出
Windows系统安装flume并配置测试
qq_43359234的博客
03-20 1436
参数说明：指明conf文件路径、指明conf文件、指定agent、指明log打印信息级别和位置。如果希望在一个agent中接收多个端口的日志信息，可以采用如下配置方式，根据官方文档quickStart，解压文件中打开docs文件夹下的。进行查看，有详细说明（是一个可执行程序，可以调试）配置文件，然后下边的接收tcp日志配置复制到。设置接收多个源，下边配置接收不同源的信息。文件，并记住文件的解压目录，如我的。参数的详细使用可以打开bin目录下的。的三个文件，复制后去掉。在cmd命令行中，输入。
Flume与Kafka对接
最新发布
qq_61809177的博客
04-17 1059
Flume组件： agent source channel sinkkafka组件：节点集群服务器 **consumer **
windows下flume的配置安装
dianchiqq的博客
04-10 7919
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 windows下flume的配置安装（详细，小白必备） 前言` 大多情况下都是在linux上配置flume，工业4.0的一些场景需要用windows的环境配置。 提示：以下是本篇文章正文内容，下面案例可供参考 一、下载安装 准备flume的安装包，请在官网进行下载：http://flume.apache.org/download.html 二、解压到目录，例如D:\software\apache-flume-1.9.0-bin(记住.
Flume的安装和使用
qq_68383591的博客
05-29 2773
如果启动中提示PathNotFount: java.exe，则需要配置java的环境变量，JAVA_HOME=java的安装路径，在Path中配置%JAVA_HOME%\bin。注意：java的安装路径中尽量不要有空格。Windows系统中有一个目录“E:\bigdataCol\mylogs”，这个目录下不断有新的文件生成，使用Flume采集这个目录下的文件，并把文件内容显示到控制台（屏幕）。（1）在windows中打开telnet服务。切换到flume的bin目录。
在windows中实现Flume日志收集
wpfphp的博客
06-19 2703
一、flume的简介 任何一个系统在运行的时候都会产生大量的日志信息，我们需要对这些日志进行分析，在分析日志之前，我们需要将分散在生产系统中的日志收集起来。Flume就是这样的日志采集系统。 1.主要有三个组件： Source：消费web系统这样的外部数据源中的数据（一般就是web系统产生的日志），外部数据源会向flume发送某种能被flume识别的格式的事件，有以下几种类型：avro 、exec、jms、spooling directory source、kafka、netcat等...
flume在windows10上运行
wateryouyo的博客
08-26 8632
1. 直接下载官网flume1.8，解压到本地F盘 2. 在conf目录下复制flume-env.ps1.template改为flume-env.ps1，改下FLUME_CLASSPATH    $FLUME_CLASSPATH="F:\kafka\apache-flume-1.8.0-bin\lib"   flume-env.sh操作同上 3.检查安装是否成功：  bin\flume-...
大数据flume1.9部署实战
hu10131013的博客
06-14 891
大数据flume1.9部署实战
Flume环境部署和配置详解及案例大全
09-15
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的...
Flume安装和简单使用
01-07
Flume安装和简单使用Flume简介Flume安装Flume框架示例 Flume简介 来自官网 Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log ...
Flume学习文档(2){Flume安装部署、Flume配置文件}.docx
07-27
Flume学习文档(2){Flume安装部署、Flume配置文件}。 记录我的学习之旅，每份文档倾心倾力，带我成我大牛，回头观望满脸笑意，望大家多多给予意见，有问题或错误，请联系 我将及时改正；借鉴文章标明出处，谢谢
windows下flume1.7使用文档
05-15
在windows端使用flume1.7同步上传数据到hdfs的说明
Windows上搭建Flume运行环境
架构师的成长之路的博客
05-10 2320
Windows上搭建Flume运行环境更多干货分布式实战（干货）spring cloud 实战（干货）mybatis 实战（干货）spring boot 实战（干货）React 入门实战（干货）构建中小型互联网企业架构（干货）python 学习持续更新ElasticSearch 笔记kafka storm 实战 (干货)一、概述1、先安装JDK2、下载官方下载地址 官方用户手册http://www...
配置flume可能出现的问题
qq_44721203的博客
10-22 3710
问题一：‘powershell.exe’ 不是内部或外部命令，也不是可运行的程序或批处理文件。 解决办法在环境变量中修改CLASSPATH的路径为：JAVA_HOME%\bin;%HADOOP_HOME%\lib;%HADOOP_HOME%\bin;%FLUME_HOME%\bin;%FLUME_HOME%\lib; 问题二：在flume的bin目录下输入此命令flume-ng.cmd version，出现 解决方法：找到目录下的文件C:cl\apache-flume-1.9.0-bin\bin\fl
Flume安装及测试
哈
03-15 1855
前置博客 安装telnet 安装 将apache-flume-1.9.0-bin.tar.gz上传到并解压到linux的/url/local目录下 将flume/conf下的flume-env.sh.template文件修改为flume-env.sh，并配置flume-env.sh文件 测试： 示例：监听指定端口telnet发送来的数据 第一步：在flume目录下创建文件夹job，然后在其下...
Flume(0)Flume1.9安装部署
热门推荐
cowbin2012的专栏
05-06 2万+
系统要求 Java运行时环境 - Java 1.8或更高版本 内存 - 源，通道或接收器使用的配置的足够内存 磁盘空间 - 通道或接收器使用的配置的足够磁盘空间 目录权限 - 代理使用的目录的读/写权限 下载及安装 1.下载 到Flume官网上http://flume.apache.org/download.html下载软件安装包，如图： 2. 解压 mkdir -p /usr/lo...
大数据处理框架: Flume + Redis4.0.11 集群
liruizi的博客
11-23 1157
上一篇文章关于Storm kafka Zookeeper 集群、本次加入Flume Redis 的集群 Apache Flume是一个分布式，可靠且可用的系统，用于高效地收集，汇总和将来自多个不同源的大量日志数据移动到集中式数据存储。 Apache Flume的使用不仅限于日志数据聚合。由于数据源是可定制的，因此Flume可用于传输大量事件数据，包括但不限于网络流量数据，社交媒体生成的数据，电子邮...
window下安装flume
陈晓婵
11-21 3134
本教程是在已经安装了jdk1.8以后的基础上进行的操作. 1.登陆官网http://flume.apache.org/download.html下载apache-flume-1.8.0-bin.tar.gz 2.解压apache-flume-1.8.0-bin.tar.gz 3.在conf文件夹中新建example.conf文件 # example.conf: A single-node
Flume1.8安装部署
04-23
Flume1.8安装部署，包含目录结构为1、下载地址，安装环境工具下载地址 2、单个Flume安装 3、多个Flume安装及HA 4、应用场景 5、Flume-Ng组件概述

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值