Flume把网络流量存入日志文件

最新推荐文章于 2024-04-28 19:54:04 发布
最新推荐文章于 2024-04-28 19:54:04 发布
阅读量1.9k 收藏
点赞数
分类专栏： Flume 文章标签： Flume把网络流量存入日志文件 Flume网络流量 Flume日志文件 Flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/caiandyong/article/details/44262511
版权
本文介绍了如何通过Flume创建一个名为agent1的配置文件，该配置文件设置了一个netcat源和logger接收器，监听本地3000端口的网络流量，并将接收到的数据存储到内存通道。启动Flume代理后，可以使用telnet工具向3000端口发送文本，Flume会将这些文本记录到日志中。
摘要由CSDN通过智能技术生成
1.创建agent配置文件
把下列内容存入agent1.conf,并保存到Flume的工作目录/opt/flume/bin下面

agent1.sources = netsource
agent1.sinks = logsink
agent1.channels = memorychannel

agent1.sources.netsource.type = netcat
agent1.sources.netsource.bind = localhost
agent1.sources.netsource.port = 3000

agent1.sinks.logsink.type = logger

agent1.channels.memorychannel.type = memory
agent1.channels.memorychannel.capacity = 1000
agent1.channels.memorychannel.transactionCapacity = 100

agent1.sources.netsource.channels = memorychannel
agent1.sinks.logsink.channel = memorychannel

2.启动一个flume代理

caiyong@caiyong:/opt/flume/bin$ flume-ng agent --conf conf --conf-file agent1.conf --name agent1
Info: Including Hadoop libraries found via (/opt/hadoop/bin/hadoop) for HDFS access

Info: Excluding /opt/hadoop/libexec/../lib/slf4j-api-1.4.3.jar from classpath
Info: Excluding /opt/hadoop/libexec/../lib/slf4j-log4j12-1.4.3.jar from classpath
+ exec /usr/java/jdk/bin/java -Xmx20m -cp 'conf:/opt/flume/lib/*:/opt/hadoop/conf:/usr/java/jdk/lib/tools.jar:/opt/hadoop/libexec/..:/opt/hadoop/libexec/../hadoop-core-1.2.1.jar:/opt/ha
最低0.47元/天 解锁文章
caiandyong
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
linux网络日志文件,系统日志文件 进程配置文件 进程信息文件 网络连接文件
weixin_31313629的博客
04-29 1562
一、linux系统常用文件/var/log/messages：系统日志文件，记录进程被系统kill、段错误等；/var/log/dmesg：硬件启动日志；/proc/sys/kernel/pid_max：进程ID最大值，默认32768；/proc/sys/kernel/threads-max：系统最大线程数，默认29732；/proc/pid/fd：进程所有打开的fd，包括文件、设备、socket...
日志文件
data01002的博客
01-22 140
delphi 写日志文件的一个类, 从网上查找的资料, 然后按自己的需求修正了下. 使用: 引用本单元后, 调用WriteLog函数即可. 默认31天清理一次日志. unit uProgLog; interface uses Windows, SysUtils, SyncObjs; type TLogFile = class private ...
nginx+flume网络流量日志实时数据分析实战_日志数据分析
最新发布
2401_83946044的博客
04-28 500
用户对网站的每次访问包含了一系列的点击动作行为，这些点击行为数据就构成了点击流数据（Click Stream Data），它代表了用户浏览网站的整个流程。比如用户在某一个会话session内，进入会话的起始页面和起始时间，会话结束是从哪个页面离开的，离开时间，本次session总共访问了几个页面等信息。事实表的数据中，有些属性共同组成了一个字段（糅合在一起），比如年月日时分秒构成了时间,当需要根据某一属性进行分组统计的时候，需要截取拼接之类的操作，效率极低。如果超过30分钟，则把下次访问算成新的会话开始。
iftop + flume 实现流量监控
Luncert的博客
04-28 400
Get Started 安装flume，直接官网下载压缩包 安装iftop，参考：http://www.vpser.net/manage/iftop.html 下载flume-iftop-source：Github Release。将下载下来的jar包拷贝到flume安装目录下的lib文件夹下 flume配置。注意根据你的网卡情况修改f.sources.sr.iftopInterface值。这里...
网络日志简介
qq_45667916的博客
06-11 1345
#Software: Microsoft Internet Information Services 6.0 #Version: 1.0 #Date: 2020-06-10 01:14:22 #Fields: time cs-method cs-uri-stem c-ip sc-status sc-bytes cs-bytes 01:14:21 GET /show2.asp 203.208.60.210 200 15046 287 作为新手，看
Flume 二：监测文件写入日志
cai_and_luo的博客
05-20 232
Flume 二：监测文件写入日志 进入/conf，创建job [root@cai flume]# cd conf/ [root@cai conf]# mkdir job [root@cai conf]# ls flume-conf.properties.template flume-env.sh job flume-env.ps1.template flume-env.sh.template log4j.properties [root@cai conf]# cd
Flume日志收集
02-25
Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。(1)可靠性当节点出现故障时...
Docker容器中运行flume及启动不输出运行日志问题
09-30
3. **Flume配置问题**：检查Flume配置文件中是否正确指定了日志输出路径。在Docker环境下，应确保路径是相对于容器的工作目录，或者映射到主机的目录。 4. **Docker容器命令**：在启动Docker容器时，确保正确地将...
日志收集之Flume
02-25
日志是系统数据的基石，对于系统的安全来说...Cloudera开发的分布式日志收集系统Flume，是hadoop周边组件之一。其可以实时的将分布在不同节点、机器上的日志收集到hdfs中。Flume初始的发行版本目前被统称为FlumeOG（ori
flume 文件备份
12-05
综上所述，`flume 文件备份` 项目通过自定义的 Safe Roll File Sink 实现了更安全、可靠的文件备份策略，结合 Flume 的数据采集能力，为日志管理和备份提供了强大的解决方案。在实际应用中，开发者需要根据具体需求...
基于glog使用UDP往以太网发送log
lyp90h的博客
10-09 212
在实际生产中，很多时候需要测试配合查找问题，为了方便测试抓取log，基于glog使用UDP往以太网发送log，只需要wireshark或者一些通用工具就能把log记录下来。该方法需要一个输出参数LogSink，通过继承google::LogSink实现，新类需要实现send函数。send函数即为自定义的发送函数。在glog上，我们可以通过AddLogSink函数添加自定义的日志输出目标。我在send函数里实现了通过UDP发送log的代码。UDPLog是发送log的实现。测试代码main.cpp。
go-logsink:通过协议缓冲区和Websocket的多机器猫
05-15
去logsink 什么是go-logsink go-logsink是一个客户端和服务器应用程序，用于将多个流聚合为一个。 它通过将管道传输到客户端的所有数据发送到服务器来实现。 用法 要启动服务器，只需键入go-logsink listen 。 默认情况下，服务器侦听端口50051。您可以使用bind标志更改默认的绑定定义： go-logsink listen --bind ":55555" 在此示例中，服务器将侦听端口55555。 要将数据发送到服务器，您必须至少启动一个客户端。 例如，将系统日志发送到服务器： sudo tail -f /var/log/syslog | go-logsink connect --address "localhost:55555" 使用address标志可以将数据发送到非默认目标（ localhost:50051 ） 一种高级用法是转发来
使用Flume收集数据
达文的博客
05-05 4746
Flume进程的配置包含三个部件：信源、信宿和信道。Flume还提供了一个自定义信源、信道和信宿的接口。 信源在接收到足够数据可以生成一个Flume事件时，它会把新创建的事件发给信道，但如何处理事件却是对信源不可见的。 Flume支持logger、file_roll、HDFS、HBase、Avro、null（用于测试）和IRC（用于互联网中继聊天服务）信宿，信宿等着从信道接收事件，接收到数据后
flume Agent高吞吐量的调优
小憨憨的博客
02-25 936
概念讲解: flume中有三种可监控文件或目录的source、分别是Exec Source、Spooling Directory Source和Taildir Source。 Taildir Source是1.7版本的新特性，综合了Spooling Directory Source和Exec Source的优点。 使用场景 Exec Source Exec Source可通过tail -f命令去tail住一个文件，然后实时同步日志到sink。但存在的问题是，当agent进程挂掉重启后..
flume采集日志文件的问题
wengad的博客
05-18 1524
使用flume1.9.0采集滚动日志，配置： ag1.sources = s1 ag1.channels = c1 ag1.sinks = k1 ag1.sources.s1.type=execag1.sources.s1.command=tail -F "/home/flume/logtest/logtest-20190518.log" ag1.channels.c1.type=memo...
2.上网日志流量统计
qq_43048011的博客
08-23 649
数据(http.log) 13502468823 https://image.baidu.com 20 1000 18320173382 http://baidu.com 20 1000 13925057413 https://www.jianshu.com/p/bb88f7111b9e 20 3000 13760778710 http://blog.csdn.net/article/detai...
讲解Flume
aohuang8877的博客
09-08 231
Spark Streaming通过push模式和pull模式两种模式来集成Flume push模式：Spark Streaming端会启动一个基于Avro Socket Server的Receiver来接收Flume中的avro sink发来的数据，这个时候Flume avro sink就是作为客户端 pull模式：这种模式是Spark自定义了一个Flume的sink作为Avro S...
[Flume]安装，部署与应用案例
SmartSi
09-19 3208
1. 官网　 http://flume.apache.org/ 2. 下载 http://flume.apache.org/download.html 3. 安装 3.1 将下载的flume包，解压到/opt目录中 3.2 创建flume-env.sh 配置文件 xiaosi@Qunar:/opt/apache-flume-1.6.0-bin/c
Flume实战监听网络端口
松门一枝花
03-23 4909
具体的配置解释见官网 http://flume.apache.org/FlumeUserGuide.html#flume-sources 1、flume安装目录下新建文件夹 example  2、在example下新建文件  netcat-logger.conf 内容如下： #name the components on this agent a1.sources = r1
第8章数据采集工具Flume.pdf
07-14
hadoop大数据平台技术与应用--第8章数据采集工具Flume.pdf

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值