Flume之netcat 类型

最新推荐文章于 2024-04-22 15:22:55 发布
最新推荐文章于 2024-04-22 15:22:55 发布
阅读量1k 收藏
点赞数
分类专栏： Flume 文章标签： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45834006/article/details/105884680
版权

  1. flume 家目录下创建job文件
    在这里插入图片描述

  2. 在job文件夹下创建文件 template.conf
    在这里插入图片描述

  3. 编辑template.conf类容如下
    在这里插入图片描述

  4. 启动flume
    在这里插入图片描述
    在这里插入图片描述

  5. 测试（另一台虚拟机打开）
    在这里插入图片描述
    在这里插入图片描述

缘不易
关注
专栏目录
Flume 学习笔记（一）使用Flume收集netcat端口通信的信息到本地文件
希望每天都能进步一点点
03-19 1510
若发现文章有误，敬请指教，感谢 文章目录运行环境一、准备 netcat 工具二、认识 Flume2.1 Flume 概念2.1 Flume 架构三、使用 Flume 收集端口的信息3.1 开启netcat3.2 创建配置文件3.3 启动flume 运行环境 Vmware 15 Flume1.9 CentOS7 操作系统 一、准备 netcat 工具 参考资料 Netcat 是一款简单的Unix工具，使用UDP和TCP协议。 它是一个可靠的容易被其他程序所启用的后台操作工具，同时它也被用作网络的.
flume接收netcat程序发送来的数据
山海
07-24 617
你要安装好flume 进入conf目录下 vi 或者 vim vi flume-poll.conf 修改配置文件 # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source # 修改这里，type是你连接的类型，p...
Flume入门案例之NetCat-Souces
邵奈一的博客
06-05 1163
教程目录0x00 教程内容0x01 Flume的使用1. 编写配置文件2. 安装telnet3. 校验结果0x02 简单讲解1. 流程讲解2. 组件讲解0xFF 总结 0x00 教程内容 Flume的使用 简单讲解 安装Flume，请参考教程： D009 复制粘贴玩大数据之安装与配置Flume集群 非常简单，一解压就行了！ 0x01 Flume的使用 1. 编写配置文件 a. 编写配置文件 c...
flume中使用NetCat Source与File Channel进行日志管理（图文结合）
JJBOOM425的博客
08-07 662
       Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。        具体的理论这里不说了，网上非常多，以下介绍一个详细案例，便于初学者入门。 一、首先创建一个 .conf 文件        打开...
Flume案例一：监控 netcat 端口数据案例
扛麻袋的少年的博客
06-24 2260
Flume案例一：监控 netcat 端口数据案例（选型：netcat source + memory channel + logger sink）
3.Flume简单应用-netcat
百年一梦
05-02 1490
1.安装netcat rpm -ivh ./*.rpm重启xineted./etc/rc.d/init.d/xineted restart2.使用flume命令$ bin/flume-ng Usage: bin/flume-ng <command> [options]...commands: agent run a Flume agentglobal
使用flume监听netcat端口
04-25
好的，你想了解关于使用flume监听netcat端口的内容。使用flume监听netcat端口，需要在flume配置文件中添加source和sink，其中source需要指定为exec，然后指定command为nc -lk 44444或者其他端口号。sink可以根据需求...
flume简单案例 netcat source
Java日常笔记精选的博客
01-13 618
参考官网，本案例使用Netcat为source 1.配置[flume-conf.properties] # example.conf: A single-node Flume configuration # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Desc...
大数据-Flume(三)：案例、配置文件编写【案例①：netcat--＞logger】【案例②：taildir--＞hdfs】
u013250861的博客
04-02 430
使用Flume监听一个，收集该端口数据，并打印到。
Flume NetCat Demo
weixin_30765577的博客
04-24 124
准备工作： 　　1.apache官网下载flume 　　2.解压flume 　　3.修改flume-env.sh，配置JAVA_HOME NetCat采集Demo: 　　1.在conf中创建netcat-logger.conf # 定义这个agent中各组件的名字 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 描述...
【Flume中间件】（1）监听netcat44444端口并将数据打印到控制台
CSDN 精品推荐
06-08 1325
netcat-memory-logger netcat是用来监听某一端口的数据，所以我们可以使用nc命令进行模拟，然后用Flume的source端监听该端口，然后传输到channel，最终传到logger控制台。 channel通常有两种形式，一种是memory，另外一种是file，两种方式分别基于内存和磁盘，可想而知，memory的效率会高很多，而磁盘的效率会相对差一点，但是基于磁盘的缓冲有一个优点就是能够大幅度的防止数据丢失，因为如果采用内存的话，一旦该服务器宕机，那么缓存在内存中的数据就会丢失，而缓冲
flume学习（一）——安装和一个简单的netcat程序
archer的技术故事
02-10 4675
flume学习（一）——安装和一个简单的netcat程序 本文主要参考： http://flume.apache.org/FlumeUserGuide.html#configuring-individual-components 首先介绍一下flume的主要作用 apache flume 是一个分布式，可靠的，可用的系统，主要用于高效的数据收集，从不同源中移动大量日志数
数据采集与预处理-flume的常用配置操作avro、exec、netcat
Amnesiacs_的博客
04-20 1165
Flume、netcat、Avro、Exec
Flume Netcat Source
weixin_30545285的博客
10-18 206
1.cd /usr/local2/flume/conf sudo vim netcat.conf # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.source...
flume 入门 安装 与入门netcat监听端口例子（一）
weixin_43205308的博客
05-15 303
flume 入门 安装 与入门netcat监听端口例子（一）
Flume入门--万字详解 【持续更新中】
最新发布
qq_73181349的博客
04-22 1154
Flume基础架构、安装部署、入门案例、断点续传源码修改
【Flume】（六）Flume 开发实战案例分享
云祁QI
09-08 626
文章目录一、监控端口数据官方案例1.1 案例需求：1.2 需求分析：1.3 实现步骤：1．安装 telnet 工具2．判断 44444 端口是否被占用3．创建 Flume Agent 配置文件 flume-telnet-logger.conf4．先开启 flume 监听端口5．使用 telnet 工具向本机的 44444 端口发送内容6．在 Flume 监听页面观察接收数据情况二、实时读取本地文件到HDFS案例2.1 案例需求：2.2 需求分析：2.3 实现步骤：1．Flume 要想将数据输出到 HDFS，
Flume netcat 监听端口44444操作
Hardhen的博客
09-09 1970
Flume netcat 监听端口44444操作
我的深刻教训之Flume中出现Ncat: Connection refused
smallUmbralla的博客
12-22 3596
1.没有启动端口 当你的agent进程没有启动，也没有使用 nc -l 6666来启动监听的话，直接输入nc localhost 6666 会出现标题所示的错误。 2.已经启动agent进程 虽然已经启动了agent进程 其实我本来想说的是虽然启动了agent进程但是名字没加空格就有问题，然后被我自己推翻了omg。。。。因此和这个主机名加不加空格没关系。 正确答案呢是就算启动了agent进程也可能存在问题，比如我在控制台看到了这么一个警告。 2021-12-22 09:54:50,33..
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

缘不易

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值