Flume完整实例一：从指定网络端口采集数据输出到控制台

最新推荐文章于 2024-07-23 08:03:31 发布

布衣清水

最新推荐文章于 2024-07-23 08:03:31 发布

阅读量3.5k

点赞数 1

分类专栏：大数据 Flume 文章标签： Flume 大数据

本文链接：https://blog.csdn.net/yulutian/article/details/80822266

版权

本文介绍了使用Flume从指定网络端口收集数据并输出到控制台的完整实例。首先安装JDK和Flume，然后通过配置source、channel和sink，选择netcat source、memory channel及logger sink。在配置文件中定义agent，启动Flume agent，并利用telnet测试数据传输，数据成功在控制台实时显示。

摘要由CSDN通过智能技术生成

LZ最近在学习Flume（分布式日志收集框架），从简单的例子入手，以供参考
需求：从指定网络端口采集数据输出到控制台
首先要安装Flume，其源码是Java，所以先安装JDK（我装的是1.8），Flume解压配置好环境后，检测flume是否安装成功：在bin目录下，比如：/home/apache-flume-1.6.0-cdh5.7.0-bin/bin
输入：flume-ng version

使用flume的关键就是写agent配置文件，需要：
（1）配置source
（2）配置channel
（3）配置sink
（4）把以上三个组件串起来
实例代码如下：

# example.conf: A single-node Flume configuration
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

布衣清水

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Flume Source原理与代码实例讲解

程序员光剑

06-09

1411

Flume Source原理与代码实例讲解 1. 背景介绍 1.1 大数据采集的重要性在大数据时代,海量数据的采集是大数据处理的第一步。高效可靠的数据采集是大数据分析的基础。而在众多大数据采集框架中,Flume以其分布式、高

数据采集入门——Flume应用

m0_47396944的博客

04-29

2216

Flume应用 Flume是一个分布式、可靠、高可用的海量日志采集、聚合和传输的系统。 Flume系统中核心的角色是agent，agent本身是一个Java进程，一般运行在日志收集节点。一个agent内部有三个组件： · Source：采集源，用于跟数据源对接，以获取数据； · Channel：agent内部的数据传输通道，用于从source将数据传递到sink； · Sink：下沉地，采集数据的传送目的，用于往下一级agent传递数据或者往最终存储系统传递数据在整个数据的传输的过程中，流动的是event

参与评论您还未登录，请先登录后发表或查看评论

Flume数据采集【从指定网络端口采集数据输出到控制台】

12-10

2405

解压重命名为:flume-netcat 配置环境变量 vi /etc/profile export FLUME_HOME_NETCAT=/usr/local/src/flume-netcat export PATH=$PATH:$FLUME_HOME_NETCAT/bin #刷新环境变量 source /etc/profile 修改flume-env.sh配置文件 #路径以自己的环境为准 export JAVA_HOME=/usr/local/src/jdk 配置agent配置文件 vi .

Flume-A：从网络端口采集数据输出到控制台

weixin_42656794的博客

06-28

372

1概述了解一个框架就去它的官网上看 http://flume.apache.org/ Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and f...

大数据采集工具——Flume简介&安装配置&使用教程

最新发布

牧夏的个人博客

07-23

894

Flume简介&安装配置&使用教程 1、Flume简介一：概要 Flume 是一个可配置、可靠、高可用的大数据采集工具，主要用于将大量的数据从各种数据源（如日志文件、数据库、本地磁盘等）采集到数据存储系统（主要为Hadoop HDFS）中，用来处理日志数据，并支持在数据流中可靠、高效地移动数据。二：Flume的基础架构详细讲解： Flume主要由三部分组成：Source，Channel，Sink。 1.Source：负责接收数据至 Flume Agent 组件中【入口】

flume采集数据

weixin_42796403的博客

12-10

663

今天写了一个flume的配置文件采集日志文件（json格式），将日志文件采集到kafka，结果在kafkatools工具中发现采集的每一条数据前面都多出了两个字节的乱码，显然后面的操作都是以json格式进行处理，数据被阻塞在kafka中。后来进行了反复检查，发现问题还是出现在flume配置文件中。。。。。。。。。。。。在这里配置是否以event格式写入kafka时，多加了kafka，flume读取数据时还是以默认设置以event格式读入数据，结果event中的header信息保存到kafka后变成了乱

flume数据采集_数据采集

weixin_39728909的博客

11-02

558

背景许多公司的业务平台每天都会产生大量的日志数据。对于这些日志信息，我们可以得到出很多有价值的数据。通过对这些日志信息进行日志采集、收集，然后进行数据分析，挖掘公司业务平台日志数据中的潜在价值。任何完整的大数据平台，一般包括以下的几个过程：数据采集-->数据存储-->数据处理（ETL）-->数据展现(可视化，报表和监控)其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重...

使用Flume收集数据

达文的博客

05-05

4756

Flume进程的配置包含三个部件：信源、信宿和信道。Flume还提供了一个自定义信源、信道和信宿的接口。信源在接收到足够数据可以生成一个Flume事件时，它会把新创建的事件发给信道，但如何处理事件却是对信源不可见的。 Flume支持logger、file_roll、HDFS、HBase、Avro、null（用于测试）和IRC（用于互联网中继聊天服务）信宿，信宿等着从信道接收事件，接收到数据后

flume采集日志数据到kafka缓存数据

chengxuxiaobai1108的博客

02-07

1558

=============== 一前言在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架， flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一...

一次flume exec source采集日志到kafka因为单条日志数据非常大同步失败的踩坑带来的思考

HuaZi_Myth的博客

11-07

4497

本次遇到的问题描述，日志采集同步时，当单条日志（日志文件中一行日志）超过2M大小，数据无法采集同步到 kafka，分析后，共踩到如下几个坑。 1、flume采集时，通过shell+EXEC（tail -F xxx.log 的方式） source来获取日志时，当单条日志过大超过1M时，source端无法从日志中获取到Event。 2、日志超过1M后，flume的kafka sink 作为生产者发送给...

flume包，用于数据的采集

01-12

flume的包。flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力。Client：Client生产数据，运行在一个独立的线程。　Event：一个数据单元，消息头和消息体组成。（Events可以是日志记录、 avro 对象等。）　　Flow： Event从源点到达目的点的迁移的抽象。　　Agent：一个独立的Flume进程，包含组件Source、 Channel、 Sink。（Agent使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。）　　Source：数据收集组件。（source从Client收集数据，传递给Channel）　　Channel：中转Event的一个临时存储，保存由Source组件传递过来的Event。（Channel连接 sources 和 sinks ，这个有点像一个队列。）　　Sink：从Channel中读取并移除Event，将Event传递到FlowPipeline中的下一个Agent（如果有的话）（Sink从Channel收集数据，运行在一个独立线程。）

端口手动采集

06-04

端口手动采集

易语言端口采集

07-26

用易语言实现的采集本地通信端口的小程序，学习用啊

设备端口状态采集软件

06-17

采集支持snmp功能的端口状态并实时显示，vs2010开发，使用时，需要把设备的管理IP地址配置到ini文件中.有可以只用的snmp_pp.lib(release版和debug版都有)

大数据学习6之分布式日志收集框架Flume——Flume实战应用之从指定的网络端口采集数据输出到控制台

level_Tiller的博客

04-04

332

从指定的网络端口采集数据输出到控制台 进入官网，查看文档，setting up an agent，看到a simple example 使用Flume的关键就是写flume的agent配置文件 1. 配置source 2. 配置channel 3. 配置sink 4. 把以上三个组件串起来（1）例如：写一个example.conf配置文件，放置到flume的conf文件夹下 # example.conf: A single-node Flume configuration # Name the comp

Flume数据采集（行为日志数据）

qq_45111566的博客

03-14

987

用日志文件使用一个脚本来生成存放在集群某一个节点，由于Flume是一个单点操作，故需要在该节点配置日志采集Flume。且采集到的日志进行JSON格式校验，然后将通过校验的JSON日志发送到kafka。Flume怎么校验？Source的类型选择？选择TailDirSource的原因，可以实现断点续传，**多目录多文件实时**监控？Channel的类型选择？选择kafkaChannel，省去了Sink,，提高了效率。kafka可以均衡速率，kafkachannel直接到kafka,不用sink。

【大数据实战】flume 数据采集

一片冰心

04-07

5588

目录flume快速开始概述系统要求数据流模型安装一个简单的例子采集源目录源执行源Kafka源NetCat TCP 源avro source接收器logger sinkavro sinkHDFS 接收器弹性搜索接收器多层代理实战采集目录文件到HDFS flume 快速开始概述 Apache Flume 是一个分布式、可靠且可用的系统，用于有效地收集、聚合来自许多不同来源的大量日志数据并将其移动到集中式数据存储。 Apache Flume 的使用不仅限于日志数据聚合。由于数据源是可定制的，Flume 可用于传

实时数据流采集工具Flume

浅谈

06-22

6369

Flume是一个实时数据流采集框架，是一种分布式的、高可用的服务，可以有效的收集、聚合和移动大量的日志数据。将数据源的数据变成数据流，将数据采集到目标位置中。本质上就是一个数据迁移的过程。官网文档地址。