Flume数据采集【从指定网络端口采集数据输出到控制台】

最新推荐文章于 2024-01-05 21:16:57 发布
最新推荐文章于 2024-01-05 21:16:57 发布
阅读量2.4k 收藏 4
点赞数
分类专栏： flume 文章标签： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44105991/article/details/121848843
版权
本文介绍了如何配置和使用Flume从指定网络端口收集数据并将其输出到控制台。主要步骤包括解压Flume、配置环境变量、编辑flume-env.sh和agent配置文件，然后启动Flume服务。通过telnet测试验证了Flume的数据传输功能，其中Event是Flume数据传输的基本单元。
摘要由CSDN通过智能技术生成
  1. 解压
  2. 重命名为:flume-netcat
  3. 配置环境变量
vi /etc/profile
export FLUME_HOME_NETCAT=/usr/local/src/flume-netcat
export PATH=$PATH:$FLUME_HOME_NETCAT/bin
#刷新环境变量
source /etc/profile
  1. 修改flume-env.sh配置文件
#路径以自己的环境为准
最低0.47元/天 解锁文章
WSQ(E)
关注
专栏目录
Flume-A：从网络端口采集数据输出到控制台
weixin_42656794的博客
06-28 388
1概述 了解一个框架就去它的官网上看 http://flume.apache.org/ Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and f...
Flume完整实例一：从指定网络端口采集数据输出到控制台
yulutian的博客
06-26 3582
LZ最近在学习Flume（分布式日志收集框架），从简单的例子入手，以供参考 需求：从指定网络端口采集数据输出到控制台 首先要安装Flume，其源码是Java，所以先安装JDK（我装的是1.8），Flume解压配置好环境后，检测flume是否安装成功：在bin目录下，比如：/home/apache-flume-1.6.0-cdh5.7.0-bin/bin 输入：flume-ng version...
实训笔记8.25
cai_4的博客
08-25 451
三个Flume进程，其中第一个Flume采集端口的数据，第二个Flume采集文件的数据，要求第一个Flume进程和第二个Flume进程将采集到的数据发送给第三个Flume进程，第三个Flume进程将接受到的数据采集到控制台上。有一个文件夹，文件夹下记录着网站产生的很多日志数据，而且日志文件不止一个，就像把文件夹下所有的文件数据采集到控制台，同时如果这个文件夹下有新的数据文件产生，也会把新文件的数据全部采集到控制台上。我们还需要多Agent进程中的source、channel、sink起别名的。
Flume采集数据：从指定网络端口和实时监控新增数据
lbship的博客
12-06 2657
一、从指定端口采集数据 1.配置flume文件 创建一个文件叫ip.conf，自己随便取的名字。 a1.sources=r1 a1.sinks=k1 a1.channels=c1 #描述和配置source，这里的a表示agent的名字 #第一步:配置source a1.sources.r1.type=netcat a1.sources.r1.bind=192.168.116.10 a1.s...
flume网络端口 收集数据
mas2005的博客
07-02 2390
1、在$FLUME_HOME/agentconf 目录下创建一个数据采集方案，该方案就是从一个网络端口收集数据，也就是创一个任意命名的配置文件如下：netcat-logger.properties文件内容如下：# 定义这个 agent 中各个组件的名字a1.sources = r1a1.sinks = k1a1.channels = c1# 描述和配置 source 组件：r1a1.sources...
flume从指定网络端口采集数据输出到控制台
MOL
08-15 7946
a1:agent的名称 r1:source的名称 k1:sink的名称 c1:channel的名称 # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = hadoop000 a1.sources.r1.port = 44444 # D
大数据学习6之分布式日志收集框架Flume——Flume实战应用之从指定的网络端口采集数据输出到控制台
level_Tiller的博客
04-04 356
从指定的网络端口采集数据输出到控制台 进入官网，查看文档，setting up an agent，看到a simple example 使用Flume的关键就是写flume的agent配置文件 1. 配置source 2. 配置channel 3. 配置sink 4. 把以上三个组件串起来 （1）例如：写一个example.conf配置文件，放置到flume的conf文件夹下 # example.conf: A single-node Flume configuration # Name the comp
Flume应用案例之从指定网络端口采集数据输出到控制台
29DCH的博客
10-16 502
紧接我的上一篇博客 分布式日志收集框架Flume环境安装部署 这里开始实践，讲一下flume的应用案例 １．从指定网络端口采集数据输出到控制台 还是先参考一下万能的官网 https://flume.apache.org/FlumeUserGuide.html a1:agent名称 r1:数据源的名称 k1:sink的名称 c1:channel的名称 example.conf #Name the c...
大数据之使用Flume监听端口采集数据流到Kafka
最新发布
2301_78038072的博客
01-05 3199
题目：在Master节点使用Flume采集实时数据生成器25001端口的socket数据（实时数据生成器脚本为Master节点/data_log目录下的gen_ds_data_to_socket脚本，该脚本为Master节点本地部署且使用socket传输），将数据存入到Kafka的Topic中（Topic名称为ods_mall_log，分区数为4），使用Kafka自带的消费者消费ods_mall（Topic）中的数据，查看前2条数据的结果；
Flume1.10及以上版本实现控制台打印输出
三水清来
03-24 1721
flume1.10及以上版本怎么样才能像1.9版本那样正常在控制台打印输出数据呢，目前有2种方法可以参考。
利用Flume将MySQL表数据准实时抽取到HDFS、MySQL、Kafka
03-06
利用Flume将MySQL表数据准实时抽取到HDFS、MySQL、Kafka用到的jar包
分布式日志收集框架Flume:从指定网端口采集数据输出到控制台
Vision
01-23 836
A)配置Source B)配置Channel C)配置Sink D)把以上三个组件串起来 变量：  a1:agent名称  r1:source的名称  k1:sink的名称  c1:channel的名称 #以下为配置文件，在这里我的配置文件路径为$FLUME_HOME/conf /example.conf #即将下面的配置代码放到examle.conf里面 # Nam
flume监控一个文件实时采集新增的数据输出到控制台
MOL
08-16 7921
Agent选型:exec source + memory channel + logger sink # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = exec a1.sources.r1.command = -F /home/hadoop/data/data.log a1.sourc
flume 采集指定端口的日志
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-06 443
本实验任务主要完成基于ubuntu环境使用flume的采集某个端口的日志信息。通过完成本实验任务，要求学生初步了解flume对端口信息的采集语法格式，为深度学习flume知识做基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。熟悉Flume概述，Flume架构   熟悉Flume基本组件Source,Sink,Channel   理解Avro Source将数据输出到Console本次环境是：Ubuntu16.04+flume-ng-1.5.0-cdh5.3.6Flume
Java连接数据库，从数据库中获取信息输出到控制台，按值查找信息输出到控制台
monster_02的博客
05-14 1195
用Java做的一个连接数据库的工具，并对数据库进行了一些简单的操作；
Apache Flume
weixin_44318460的博客
10-07 564
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。
Flume:（四）FLUME使用（监控一个文件数据新增，输出到控制台）
x670667585的博客
11-10 396
agent：exec scource + memory channel + logger sink # example.conf: A single-node Flume configuration # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Descr...
Flume抽取SQL Server设计方案
fengfengchen95的博客
05-28 2925
1.为表创建触发器
flume通过flume-ng-sql-source实时采集mysql数据到kafka
qq_44962075的博客
07-22 844
flume通过flume-ng-sql-source实时采集mysql数据到kafka 1.通过flume-ng-sql-source实时将mysql数据传输到kafka中 需要用到插件flume-ng-sql-source 2.将下载的jar包放到flume的lib目录 注意:不同插件版本与不同的flume版本存在匹配问题(亲测flume-ng-sql-source-1.5.1.jar与flume-1.8.0可以共同使用) 3.在${FLUME_HOME}/conf下创建mysql_conf.proper
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值