Flume>Flume接受telent数据(案例1)

最新推荐文章于 2022-09-21 15:39:46 发布
最新推荐文章于 2022-09-21 15:39:46 发布
阅读量148 收藏 1
点赞数
分类专栏： Flume 文章标签： Flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44509920/article/details/103405977
版权
该博客详细介绍了如何使用Flume来接收telnet数据。首先，开发配置文件，设置channel参数如capacity和transactionCapacity。接着，启动配置文件，通过指定配置文件路径和agent名称进行测试。最后，在另一台机器上安装telnet客户端，以便模拟数据发送，验证Flume的数据采集功能。
摘要由CSDN通过智能技术生成

文章目录

Flume接受telent数据

案例：使用网络telent命令向一台机器发送一些网络数据，然后通过flume采集网络端口数据
在这里插入图片描述

第一步：开发配置文件

根据数据采集的需求配置采集方案，描述在配置文件中(文件名可任意自定义)

配置我们的网络收集的配置文件
在flume的conf目录下新建一个配置文件（采集方案）
vim /export/servers/apache-flume-1.6.0-cdh5.14.0-bin/conf/netcat-logger.conf

# 定义这个agent中各组件的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 描述和配置source组件：r1
a1.sources.r1.type = netcat
a1.sources.r1.bind = 192.168.100.201
a1.sources.r1.
最低0.47元/天 解锁文章
BigMoM1573
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
案例一 Flume接受telent数据
weixin_45492179的博客
09-12 220
Flume接受telent数据第一步：开发配置文件第二步：启动配置文件 案例：使用网络telent命令向一台机器发送一些网络数据，然后通过flume采集网络端口数据 第一步：开发配置文件 根据数据采集的需求配置采集方案，描述在配置文件中(文件名可任意自定义) 配置我们的网络收集的配置文件 在flume的conf目录下新建一个配置文件（采集方案） vi /export/servers/apache-flume-1.8.0-bin/conf/netcat-logger.conf # 定义这个agent中
Flume 监控端口数据 案例
zhaoxiaoba123的博客
10-02 935
1)案例需求: 使用 Flume 监听一个端口，收集该端口数据，并打印到控制台。 2)需求分析: 3)实现步骤: 1.安装 netcat 工具 2.判断 44444 端口是否被占用 3.创建 Flume Agent 配置文件 flume-netcat-logger.conf 在 flume 目录下创建 job 文件夹并进入 job 文件夹。 在 job 文件夹下创建 Flume Agent 配置文件 flume-netcat-logger.conf。 在 flume-netcat-logger.co
Flume 1.7.0 用户指南（上篇）
strongyoung的专栏
12-24 3538
Apache Flume是一个分布式的，可靠的，且可用的系统，它可以用来有效地从许多不同的数据源收集，聚合和移动大量的日志数据到一个集中的数据中心进行存储。Apache Flume的使用不仅限于日志数据的聚合。因为数据源是可定制的，Flume可以用来传输大量的事件型数据，包括但不限于，如网络流量数据，社交媒体产生的数据，邮件信息和任何可能的数据源。
Flume实战一，Flume配合telnet从指定网络端口采集数据输出到控制台
u013429010的博客
09-20 1945
1、使用Flume的关键就是写配置文件 1）配置Source 2）配置Channel 3）配置Sinks 4）将以上三种组件串联起来 在cd $FLUME_HOME/conf vim example.conf #example.conf内容 # a1可以看做是flume服务的名称，每个flume都由sources、channels和sinks三部分组成 # sources可以看做是数据源头、cha...
flume采集数据实例(安装flume 、nc--telnet、监控 telnet、文件末尾变动内容、复制的指定路径文件到hdfs并过滤)
Mr_Bright的博客
12-02 1452
案例使用文件下载： 链接: https://pan.baidu.com/s/12rMp76_W1fLvOwW9_hvfGg 提取码: u3v5 使用Flume的关键就是写配置文件 1）配置Source 2）配置Channel 3）配置Sinks 4）将以上三种组件串联起来 安装flume 解压flumne压缩包到指定目录内 进入到flumne的conf目录下 复制flume-env.sh.template --> flume-env.sh 修改flume-env.sh文件: export JAVA_H
flume使用telnet作为入口出现connection refused
微电子学与固体电子学-俞驰
08-16 2471
原因很简单 因为localhost≠127.0.0.1 也就是说, $FLUME_HOME/conf中的.conf文件用的localhost 那么启动agent的时候你就不能用127.0.0.1 否则认为两者是不相等的.  ...
flume 一个简单的官方案例：监控端口数据
qq_43192537的博客
09-29 1716
flume官方案例：监控端口数据 题目描述： 案例需求：首先，Flume监控本机44444端口，然后通过telnet工具向本机44444端口发送消息，最后Flume将监听的数据实时显示在控制台 1. 安装telnet工具 安装链接 2. 判断44444端口是否被占用 [hadoop@hadoop202 flume-1.7.0]$ sudo netstat -tunlp | grep 4444...
2.5.2 hadoop体系之离线计算-Flume日志收集系统-Flume实战（Telnet案例）
敲代码的乔帮主
11-05 134
目录 1.案例分析 2.Flume 的安装部署 2.1. 下载解压修改配置文件 2.2开发配置文件 2.3启动配置文件 2.4安装 Telnet 准备测试 1.案例分析 使用网络telent命令向一台机器发送一些网络数据，然后通过flume采集网络端口数据 2.Flume 的安装部署 2.1. 下载解压修改配置文件 下载地址： http://archive.apache.org/dist/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz F...
Flume之telnet的安装
qq_44403259的博客
03-20 507
Telnet的安装 查看本机是否安装了telnet [root@hadoop131 flume]# rpm -qa | grep telnet 如果没有显示任何信息，则说明没有安装telnet 安装 安装xinetd [root@hadoop131 hadoop]# yum install xinetd 安装telnet [root@hadoop131 hadoop]# yum ins...
Flume实战案例（Flume接受telent数据，采集目录到HDFS、采集文件到HDFS、两个agent级联）
依旧的博客
12-08 3990
一、Flume接受telent数据 第一步：开发配置文件 vim/export/servers/apache-flume-1.6.0-cdh5.14.0-bin/conf/netcat-logger.conf # 定义这个agent中各组件的名字 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 描述和配置source组件：r1 a...
Flume介绍和使用
迷雾总会解
09-21 1881
Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种格式的日志数据，包括 avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。官方提供的 source 类型已经很多，但是有时候并不能满足实际开发当中的需求，此时我们就需要根据实际需求自定义某些 source。
财务报表，项目费用支出明细.xlsx
08-09
工资表，财务报表，对账表，付款申请，财务报告，费用支出表 适用人群：学习不同技术领域的小白或进阶学习者；可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。
ppap-第四版.pdf
08-09
ppap-第四版
铁路转辙机 ZD6 使用说明书
08-09
铁路转辙机 ZD6 使用说明书
黑马商城docker镜像elasticsearch资源
08-09
黑马商城docker镜像elasticsearch资源
Matlab课设 - 基于图像特征的遥感图像相似匹配+源代码+文档说明
08-09
<项目介绍> - 基于图像特征的遥感图像相似匹配 - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
数据库系统课程设计-仓库管理系统-java-精品.doc
最新发布
08-09
数据库系统课程设计-仓库管理系统-java-精品
ssm_127_mysql_私人书店管理系统_.zip
08-09
电子商务在近些年来已经成为了我国重要的第三产业之一，电子商务成为了我国经济增速中一个不可缺少的组成部分，而随着互联网技术的不断发展，现在的电子商务也已经日趋成熟，不仅仅是在技术层面实现了线上商品展示、线上咨询以及线上支付等功能，更是通过战略发展的角度进一步的完善了该行业的发展空间，使得其能够长期处于健康发展的状态。互联网的思维模式下，虚拟网络带给人们全新的生活体验，而电子商务的出现更是极大的方便了人们的日常生活，带动着全球化的深度改革。而随着网络化的不断发展，当下任何商品、服务都可以通过网络来实现销售，图书作为最为传统的一项商品也能够实现在网络的销售、借阅管理等功能。利用计算机手段可以从功能和技术两个方面按照图书销售的要求来开发必须的功能模块。 本次是通过以JSP技术为主要的开发技术，结合了MySQL数据库来打造一款私人书店管理系统，该系统是基于B/S结构打造的系统，本次的系统开发能够实现图书的网络展示、销售、借阅等功能，利用线上化的功能来进行图书推广。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值