【flume】flume的部署及案例

最新推荐文章于 2021-04-27 11:10:27 发布
最新推荐文章于 2021-04-27 11:10:27 发布
阅读量565 收藏
点赞数 1
分类专栏： flume 文章标签： flume 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45783164/article/details/104680068
版权
本文详细介绍了Flume的部署步骤，包括上传安装包、解压、修改配置文件和设置环境变量。接着通过两个实例——netcat-logger.conf和spooldir-hdfs.conf，展示了如何配置Flume监测网络数据并将其传输到HDFS。通过netcat-logger测试了数据采集，通过spooldir-hdfs监控目录日志并存储到HDFS，确保Flume的正常运行。
摘要由CSDN通过智能技术生成

文章目录

一、部署flume

flume的安装非常简单

1、上传安装包到数据源所在的节点上
2、解压安装包到数据源所在的节点上

然后 tar -zxvf apache-flume-1.6.0-bin.tar.gz
在这里插入图片描述

3、修改conf下的flume-env.sh

然后进入flume目录里面的conf，修改conf下的flume-env.sh，在里面配置JAVA_HOME
在这里插入图片描述

 export JAVA_HOME=/export/servers/jdk1.8.0_141
4、添加环境变量
Vim /etc/profile

在这里插入图片描述

export FLUME_HOME=/export/servers/apache-flume-1.6.0-bin
export PATH=:$FLUME_HOME/bin:$PATH

更新下环

最低0.47元/天 解锁文章
废物点心777
关注
专栏目录
flume多节点集群搭建
leanaoo的博客
11-20 1万+
概览 1.Flume流程简介 2.规划 3.配置 4.启动测试 5.注意 准备 操作系统:CentOS 7 搭建好hadoop集群 Flume版本:1.8.0 jdk版本:1.8.0_141 工具:Xshell 5,Xftp 5,VMware Workstation Pro 1.Flume流程简介 Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合...
Flume简介及安装部署
okakio的博客
12-05 144
在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示： 概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包、文件、文件夹、kafka等各种形式源数据，...
Flume 的几种部署方案
Rashaun`s blog
12-04 544
1.单 Agent 采集数据     2.多 Agent 串联     3.多 Agent 合并串联     4.多路复用  
Flume安装部署和案例
weixin_43497444的博客
03-14 295
1.安装地址 1） Flume官网地址 http://flume.apache.org/ 2）文档查看地址 http://flume.apache.org/FlumeUserGuide.html 3）下载地址 http://archive.apache.org/dist/flume/ 2.安装部署 1）将apache-flume-1.7.0-bin.tar.gz上传到linux的/opt/soft...
flume安装部署以及使用案例
大数据技术分享中心
08-14 364
一、Flume概述 1、定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RV3UdQii-1597403755028)(E:/%E5%A4%8D%E4%B9%A0%E7%AC%94%E8%AE%B0/flume/flum.assets/1597309346265.png)] 2、Flume基础架构 [外链图片转存失败,源站可能有防盗链机制,建
Flume1.6.0入门：安装、部署、及flume的案例
01-07
### Flume 1.6.0 入门详解：安装、部署及案例分析 #### 一、Flume 概述 Flume 是 Cloudera 开发的一款高效、可靠且易于扩展的日志收集系统，适用于大数据环境下的日志采集任务。Flume 的初始版本被称为 FlumeOG...
Flume环境部署和配置详解及案例大全1
08-03
在实际部署和配置 Flume 时，你需要创建一个配置文件，明确指定 Agent 的 Source、Channel 和 Sink 类型以及相关参数。例如，你可以配置一个 Source 来监听 syslog 数据，使用 MemoryChannel 作为中间缓冲，然后设置...
Flume 部署及相关案例
csdnwindnorth的博客
09-07 169
一、Flume 简介 1.Flume 提供了一个分布式的，可靠的，对大量数据的日志高效收集，聚集，移动的服务，Flume 只能在 Unix 环境下运行。 2.Flume 基于流式架构，容错性强，也结构简单。 3.Flume，Kafka 用来实时数据收集，Spark，Flume 用来实时处理数据，impala 用来实时查询。 二、Flume 角色 1.source 用于采集数据，source 是产...
Flume 架构及部署
harvey的博客
10-26 840
1.Flume概述 Flume是由 Cloudera 提供的一个分布式、高可靠、高可用的服务，用于分布式的海量日志的高效收集、聚合、移动系统。简单来说，Flume 就是一个针对日志数据进行采集和汇总的一个工具（把日志从A地方移动到B地方） Flume 官网：http://flume.apache.org/ Flume 官方文档：http://flume.apache.org/FlumeUse
Flume 配置方案
KamRoseLee的博客
11-05 317
11：Test File Roll Sink #文件名：case11_fileroll.conf #配置内容： # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type...
Flume部署实战案例
www.成神之路.csdn
08-14 811
一、Flume安装部署 1. 安装配置 1) 上传安装包到数据源所在节点上 2) 解压：tar -zxvf 安装包 3) 进入安装目录下的conf下 cp flume-env.sh.template flume-env.sh 修改flume-env.sh,配置JAVA_HOME 4) 在flume安装路径下创建一个目录agentconf，在该目录下创建一个配置文件： ...
03_Flume多节点Failover实践
weixin_30634661的博客
12-02 85
1、实践场景 模拟上游Flume Agent在发送event时的故障切换 （failover） 1）初始：上游Agent向active的下游节点Collector1传递event 2）Collector1故障： kill该进程的方式来模拟， event此时发送给Collector2，完成故障切换 3）Collector1恢复：重新运行该进程，经过最大惩罚时间后，event将恢复发送给Col...
Flume多节点的搭建
Carroll的学习博客
11-28 1750
在前面的blog中，我们在5台虚拟机中搭建了flume的单节点，这篇博客主要讲述搭建flume-ng。 -5台虚拟机 -apache-flume-1.6.0-bin.tar.gz1、在master节点上，解压压缩包到/usr/local下面tar -zxvf apache-flume-1.6.0-bin.tar.gz flume-1.7 mv flume-1.7 /usr/local/2、配置环境
大数据集群搭建（10）——Flume的多节点集群搭建
Copper01的博客
11-14 1279
Flume的多节点集群搭建 1.将主节点的flume拷贝到其他节点上 scp -r  /usr/flume/ root@slaver1:/usr/flume/ scp -r  /usr/flume/ root@slaver2:/usr/flume/ 2. 在master上面配置conf文件：  从某个文件夹里面采集数据，采集到的数据sink到slaver2里面(文件名:m-s2.conf)...
flume数据采集_大数据采集系统Flume集群部署
weixin_39657662的博客
11-23 200
集群规划Flume集群，负载均衡和故障转移模式，笔者准备了3台机器安装了flume，其中webapp200是应用服务器，flume安装在这里，目的是收集应用服务器上的日志，通过2个avro sink分别对接到flume130和flume131机器；再通过flume130和flume131将数据传输到HDFS。(注：吞吐量大的channels可以换成kafka)。Webapp200：TAILDIR ...
flume-ng 多节点集群示例
think的专栏
01-12 2842
假设：现有两台机子，命名为：agent，collect。 agent IP地址为：192.168.150.137， collect为192.168.150.135 要求：实现agent到collect的连接，并能向collect发送日志。 步骤： 两台电脑上分别装上 jdk,flume-ng（不是flume-og），配置好profile。 agent的处理   (1
Flume简介及Flume部署、原理和使用介绍
wt334502157的博客
04-27 1809
Flume简介及Flume部署、原理和使用介绍 Flume概述 ​ Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 ​ Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。 Flume架构 Agent Agent是一个JVM进程，它以事件的形式将数据从源头送至目的。 Agent主要有3个部分组成，Source、Channel、Sink。 Source Source是负责接收数据到Flum
"Flume环境部署配置详解及案例大全：官方网站下载安装指南
关于Flume的环境部署和配置，可以参考博客园上的一篇名为《Flume环境部署和配置详解及案例大全》的文章。在这篇文章中，详细介绍了Flume的环境部署和配置方法，以及提供了一些实际案例。在这篇文章中，作者指出了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值