Flume基础篇——环境搭建

最新推荐文章于 2023-07-09 13:57:17 发布
最新推荐文章于 2023-07-09 13:57:17 发布
阅读量324 收藏
点赞数
分类专栏： Flume 文章标签： Flume 分布式日志采集
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/blueseahorse/article/details/88833051
版权
本文介绍了如何在Windows和Linux上搭建Apache Flume 1.8.0环境，包括Java环境的要求、Flume的下载与解压、环境变量配置、配置文件设置以及启动验证。在Windows上，需要配置FLUME_HOME环境变量，并通过flume-ng version命令检查安装是否成功。Linux安装步骤与Windows相似。启动Flume时，需指定配置文件、日志级别等参数。
摘要由CSDN通过智能技术生成

Flume基础篇——环境搭建

  1. 环境需求
    flume已经发布1.9了，本文主要是基于1.8.0，可以通过官网直接下载，flume是使用java开发，因此需要安装java环境，flume-1.8 要求java1.8以上。安装包：apache-flume-1.8.0-bin，源码包：apache-flume-1.8.0-src
  2. window安装步骤

  • 下载apache-flume-1.8.0-bin，解压即可

  • 环境变量配置（系统环境变量可以不配置）：
    添加环境变量 FLUME_HOME=D:\demo\flume\apache-flume-1.8.0-bin（根据实际地址改变）。
    添加到path=%FLUME_HOME%\bin;%FLUME_HOME%\conf

  • 在apache-flume-1.8.0-bin\conf\flume-env.sh（一般有提供模板以.templete结尾）添加java环境变量：

#Enviroment variables can be set here.
export JAVA_HOME=C:\Program Files\Java\jdk1.8.0_131
  • 进入apache-flume-1.8.0-bin\bin，运行f
最低0.47元/天 解锁文章
嗨码
关注
专栏目录
Flume Channel原理与代码实例讲解
程序员光剑
07-08 710
Flume Channel原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming / TextGenWebUILLM Flume Channel原理与代码实例讲解
Flume环境搭建与使用
luckGeek的博客
06-24 301
概述：本文主要讲述Flume基础环境的搭建，并实现简单的数据采集与输出。 1、Flume环境搭建 （1）安装JDK 下载并解压JDK、配置环境变量、版本检测 （2）下载并上传Flume http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0.tar.gz scp flume-ng-1.6.0-cdh5.7.0.tar...
Flume 环境搭建
不积跬步，无以至千里
12-20 143
Flume下载 http://www.apache.org/dyn/closer.lua/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz 上传并解压 [root@master flume]# mkdir /home/flume [root@master flume]# tar -xzvf apache-flume-1.9.0-bin.tar.gz -C...
Flume环境搭建
m0_75227189的博客
04-18 615
适用于学者
FLume 环境搭建
野狼e族 的博客
05-21 230
1、Flume安装前置条件        （1）JDK版本必须 1.7+：Java Runtime Environment - Java 1.7 or later        （2）足够的内存：   Memory - Sufficient memory for configurations used by sources, channels or sinks        （3）足够的磁盘空间：...
大数据课程00——[基础篇]大数据学习入门
最新发布
u013955758的专栏
07-09 565
大数据地学习方向（hadoop, zookeeper, hive, flume && sqoop, azkaban && oozie, 数仓建模理论+实践, hbase, redis, kafka, elk, scala, spark, kylin, flink, 实时数仓项目）、大数据就业方向(数仓工程师、数据开发工程师、ETL工程师、数据分析工程师)
Ambari——大数据平台的搭建利器之进阶篇[配置spark]
bbaiggey_bigdata的博客
01-18 6618
虽然大数据越来越流行，但其学习的门槛却一直阻碍着很多的初学者，而且各个产品之间的集成和维护也显得比较困难。不管是 Hadoop V1 或者 V2 的安装，又或者 Spark/YARN 等的集成，都不是几行简单的命令，而是要关联到许多的配置。有了 Ambari，这些都不再是难题 前言 本文适合已经初步了解 Ambari 的读者。对 Ambari 的基础知识，以及 Ambari
大数据技术——Hadoop3.X入门搭建+安装调优（1.入门）
m0_52435951的博客
04-10 3783
大数据技术——Hadoop3.X入门搭建+安装调优（1.入门）
Flume集群环境搭建，flume监控
01-13
flume集群环境搭建，详细讲解，图文并茂，包括flume信息监控和众多文章链接
Flume环境搭建及配置
saviour的博客
02-04 424
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 1.flume-env.sh 配置JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_144 2.Exec source适用于监控一个实时追加的文件，但不能保证数据不丢失；Spooldir Source能够保证数据...
Flume环境安装
十月鱼的博客（本博客不再更新，作者迁移至：http://wiki.51centos.com）
06-29 345
软件版本下载 http://mirror.bit.edu.cn/apache/flume/ 集群环境 Master 172.16.11.97 Slave1 172.16.11.98 Slave2 172.16.11.99 下载软件包 Master wget http://mirror.bit.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-...
大数据学习——Flume环境搭建
wangyang163wy的博客
03-04 611
搭建 Flume 环境 搭建 Flume 1.7.0 环境安装拷贝 Hadoop 的包到 Flume 的目录下分发配置完成的 Flume 到其它节点Flume 的使用 搭建 Flume 1.7.0 环境 我使用了4台虚拟机来搭建相对应的节点，具体情况如下： master slave1 slave2 slave3 NameNode √ SecondaryNameNode ...
Flume环境部署和配置详解及案例大全
weixin_30906671的博客
08-21 238
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 　一、什么是Flume?　　flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume ...
Flume教程（一）Flume环境搭建与测试、使用
Java朱老师博客
05-19 1356
安装 一、将apache-flume-1.9.0-bin.tar.gz上传到hp3的/apps文件夹下 二、解压： tar -xvf /apps/apache-flume-1.9.0-bin.tar.gz -C /usr/local 三、对解压后的文件建立一个软连接，命名为flume 四、配置环境变量，在profile.d下新建flume.sh 编辑内容为： export FLUME_HOME=/usr/local/flume export PATH=$PATH:$FLUME_HOME/bin 并让其生效
Flume+kafka环境搭建详细教程
本文档将详细介绍如何搭建Flume+kafka环境，并实现数据的实时传输和处理。 Flume+kafka环境搭建 在搭建Flume+kafka环境之前，需要先搭建Kafka集群。Kafka集群的搭建可参照《Kafka集群搭建文档.docx》。在搭建Kafka...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值