flume入门案例之监控端口数据

最新推荐文章于 2024-06-05 09:27:59 发布
最新推荐文章于 2024-06-05 09:27:59 发布
阅读量408 收藏
点赞数 2
分类专栏： flume 文章标签： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46122692/article/details/109902399
版权
本文档详细介绍了如何使用Flume监控一个端口并收集数据，从需求分析到配置文件创建，再到启动Flume agent和使用netcat工具发送测试数据，最后通过Flume页面查看数据接收情况，提供了一站式的Flume入门实践指南。
摘要由CSDN通过智能技术生成

1、需求：使用Flume监听一个端口，收集该端口数据，并打印到控制台。

2、安装netcat工具

yum -y install nc

3、判断44444端口是否被占用

netstat -tunlp | grep 44444

4、创建flume agent配置文件flume-netcat-logger.conf

cd /data/flume/apache-flume
mkdir job
cd job/
vim flume-netcat-logger.conf

添加：

# flume配置的例子
# Name the components on this agent
# source:起一个别名
# properties文件它是java的配置文件,=左边就是键,=右边是值;键的开头都是以a1
最低0.47元/天 解锁文章
zyj_369
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
实时计算组件Flume使用-监控端口数据
fanxin1000的专栏
02-26 518
Flume的下载与安装配置，完成 Flume 监听一个端口，收集该端口数据，并打印到控制台。
Flume监听端口数据
qq_70085330的博客
08-16 896
Flume监听端口数据
Flume案例1-监控端口数据
ordo120的专栏
04-22 2159
（1）将 apache-flume-1.9.0-bin.tar.gz 上传到 linux 的/opt/package目录下。（4）在 job 文件夹下创建 Flume Agent 配置文件 flume-netcat-logger.conf。（2）解压 apache-flume-1.9.0-bin.tar.gz 到/opt/program/目录下。（5）在 flume-netcat-logger.conf 文件中添加如下内容。（3）修改 apache-flume-1.9.0-bin 的名称为 flume。
Flume基础知识（三）：Flume 实战监控端口数据官方案例
zuodingquan666的博客
01-03 942
（5）在 job 文件夹下创建 Flume Agent 配置文件 flume-netcat-logger.conf。：flume 本次启动读取的配置文件是在 job 文件夹下的 flume-telnet.conf 文件。（3）创建 Flume Agent 配置文件 flume-netcat-logger.conf。（6）在 flume-netcat-logger.conf 文件中添加如下内容。（4）在 flume 目录下创建 job 文件夹并进入 job 文件夹。（1）安装 netcat 工具。
Flume监控端口数据案例
m0_63449353的博客
10-25 247
1.需求分析 2.实现步骤 安装telnet工具 将rpm软件包(xinetd-2.3.14-40.el6.x86_64.rpm、telnet-0.17-48.el6.x86_64.rpm和telnet-server-0.17-48.el6.x86_64.rpm)拷入/opt/software文件夹下面。执行RPM软件包安装命令： [zz@hadoop102 software]$ sudo rpm ...
Flume简单案例之实时监控端口数据
weixin_45568872的博客
02-19 719
1. 案例需求 使用Flume监控本机的44444端口，开两个端口分别作为服务端和客户端。 客户端：使用netcat工具向本机44444端口发送数据 服务端：将监听的数据实时显示在控制台 2. 准备工作 1). 安装netcat工具 [root@cos100 cluster]# mkdir netcat [root@cos100 cluster]# yum install wget [root@c...
【Flume】（三）Flume抓取数据（Flume入门案例）
qianchun22的博客
12-02 415
在工作目录下创建以下文件 案例一 输入输出同步 编写 agent 配置文件 netcat-flume-logger.conf vi /opt/flume/conf/jobkb09/netcat-flume-logger.conf 内容如下： a1.sources=r1 a1.channels=c1 a1.sinks=s1 a1.sources.r1.type=netcat a1.sources.r1.bind=localhost a1.sources.r1.port=7777 a1.
Flume1.6.0入门：安装、部署、及flume的案例
01-07
### Flume 1.6.0 入门详解：安装、部署及案例分析 #### 一、Flume 概述 Flume 是 Cloudera 开发的一款高效、可靠且易于扩展的日志收集系统，适用于大数据环境下的日志采集任务。Flume 的初始版本被称为 FlumeOG...
Flume入门必看
m0_59737088的博客
07-15 282
Flume 一、概述 本文参考原文链接 1.Flume定义 Flume是Cloudera提供的一个海量日志采集、传输的系统。Flume基于流式架构，灵活简单。 2.Flume优点 ① 可以和任意存储进程集成 ② 输入的数据速率大于写入目的存储的速率，flume会进行缓冲，减小hdfs的压力。 ③ flume中的事务基于channel，使用了两个事务模型（sender + receiver），确保消息被可靠发送。 ​ Flume使用两个独立的事务分别负责从source到channel，以及从
大数据学习——Flume入门
5akura's Blog
08-06 2285
文章目录一、Flume概述1.1、Flume定义1.2、Flume基础架构二、Flume快速入门2.1、安装Flume部署2.2、入门案例2.2.1、监控端口数据（官方案例）Describe the sinkUse a channel which buffers events in memoryBind the source and sink to the channel2.2.2、实时监控单个追加文件2.2.3、监控文件 升级版2.2.4、监控文件夹变化2.2.5、断点续传——实时监控目录文件追加修改三、
Flume-监控端口数据案例实操
clearlxj的博客
07-14 572
监控端口数据官方案例 案例需求：首先,Flume 监控本机 44444 端口,然后通过 telnet 工具向本机 44444 端口发送消息,最后 Flume 将监听的数据实时显示在控制台。 分析： netcat工具的使用 安装nc： sudo yum install -y nc netcat 是 Linux 系统中的网络工具，其通过 TCP 和 UDP 协议在网络中读写数据。如果与其他工具结合，以及加上重定向功能，还可以实现很多不同的功能。所以其以体积小功能灵活而著称，可以用来做很多网络相关的工作。 n
Flume的安装与Flume监控端口数据官方案例
qq_55906442的博客
12-01 2159
Flume的安装与Flume监控端口数据官方案例
Flume(端口)
最新发布
2202_75833209的博客
06-05 509
需要额外打开一个终端窗口进行测试。
Flume 监控端口数据 案例
zhaoxiaoba123的博客
10-02 944
1)案例需求: 使用 Flume 监听一个端口，收集该端口数据，并打印到控制台。 2)需求分析: 3)实现步骤: 1.安装 netcat 工具 2.判断 44444 端口是否被占用 3.创建 Flume Agent 配置文件 flume-netcat-logger.conf 在 flume 目录下创建 job 文件夹并进入 job 文件夹。 在 job 文件夹下创建 Flume Agent 配置文件 flume-netcat-logger.conf。 在 flume-netcat-logger.co
flume案例--监听本地网络端口 把网络端口的数据采集到 输出到console控制台上
qq_36382679的博客
06-26 433
1 在node-1 上配置vim netcat-logger.conf # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = node-1 a1.sources.r1.port = 44444 # Describe the sink
【Flume中间件】（1）监听netcat44444端口并将数据打印到控制台
CSDN 精品推荐
06-08 1258
netcat-memory-logger netcat是用来监听某一端口的数据，所以我们可以使用nc命令进行模拟，然后用Flume的source端监听该端口，然后传输到channel，最终传到logger控制台。 channel通常有两种形式，一种是memory，另外一种是file，两种方式分别基于内存和磁盘，可想而知，memory的效率会高很多，而磁盘的效率会相对差一点，但是基于磁盘的缓冲有一个优点就是能够大幅度的防止数据丢失，因为如果采用内存的话，一旦该服务器宕机，那么缓存在内存中的数据就会丢失，而缓冲
Flume监听端口
元气满满的小白
03-09 5433
Flume概念及作用 作用 flume可以监听端口或者文件夹，对传输到此处的数据进行打印输出或上传hdfs等操作 概念 flume是Cloudera提供的一个基于流式系统高可用的、高可靠的分布式海量日志采集、聚合和传输系统 组件 Agent Agent是一个JVM进程，是flume传输的基本单元 Source Source是负责接收数据到Flume Agent的组件 Chann...
flume监听端口
xiaoliuxxs
09-10 531
第二讲
Flume大数据采集实战：从入门到精通
课程内容涵盖Flume的基础知识、企业级部署策略、全场景业务案例、数据容错机制以及高级组件和面试核心知识点，通过实例教学，使学习者能够具备解决实际问题的能力。 课程内容详尽丰富，主要包括以下部分： **第一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值