flow的采集与分析---vflow项目分析和解读

最新推荐文章于 2024-08-09 07:50:23 发布
最新推荐文章于 2024-08-09 07:50:23 发布
阅读量2.4k 收藏
点赞数
文章标签： 网络 运维 大数据
原文链接：https://segmentfault.com/a/1190000013841643
版权
本文介绍了开源项目vflow，它是一个处理netflow等协议的企业级解决方案。特性包括支持PFIX、sFlow、Netflow v9等协议，可输出到Kafka、NSQ、NATS等。采用动态工作池和插件架构，易于扩展到更多协议和监控系统。硬件要求和架构设计也有详细阐述。
摘要由CSDN通过智能技术生成

前言

vflow这个开源项目，是我一开始做flow这块的最开始参考的项目。虽然到最后，我们没有使用这个项目，但是该项目是一个企业级的处理netflow等协议的项目，有许多地方值得去研究。
图片描述

特性

  • PFIX RFC7011 collector
  • sFLow v5 raw header packet collector
  • Netflow v9 collector
  • Decoding sFlow raw header L2/L3/L4
  • Produce to Apache Kafka, NSQ, NATS
  • Replicate IPFIX to 3rd party collector
  • Supports IPv4 and IPv6
  • Monitoring with InfluxDB and OpenTSDB backend

架构

图片描述

Dynamic pool

提供了work pool，而且wokrer数量是根据buff堆积消息数量动态调整的，这点之前文章介绍过实现

最低0.47元/天 解锁文章
weixin_34111819
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Netflow/IPFIX 流量收集与分析
烟云的计算
03-17 5233
目录 文章目录目录Netflow 网络数据流检测协议IPFIXFlowalyzer Netflow & sFlow Tool Setgoflowcflowd Netflow 网络数据流检测协议 随着软件系统升级以及漏洞修补方案的成熟，直接入侵主机进行破坏的病毒攻击方式逐渐减少，继而转为恶意消耗有限的网络资源，造成网络阻塞，以此破坏系统对外提供服务的能力。针对此类攻击，业界提出了通过检测网络...
vflow:企业网络流量收集器（IPFIX、sFlow、Netflow）
07-24
高性能、可扩展且可靠的 IPFIX、sFlow 和 Netflow 收集器（纯 Golang 编写）。 特征 IPFIX RFC7011 收集器 sFlow v5 原始标头/计数器收集器 Netflow v5 收集器 Netflow v9 收集器 解码 sFlow 原始头 L2/L3/L4 生成到 Apache Kafka、NSQ、NATS 将 IPFIX 和 sFlow 复制到第 3 方收集器 支持 IPv4 和 IPv6 Prometheus 和 RESTful API 监控 文档 。 。 。 。 。 。 。 解码的 IPFIX 数据 IPFIX 数据解码为 JSON 格式，ID 为 { " AgentID " : " 192.168.21.15 " , " Header " :{ " Version " : 10 , " Length " : 420 , " Ex
vFlow：高性能网络流量采集器
最新发布
gitblog_00541的博客
08-09 6458
vFlow：高性能网络流量采集器 vflow Enterprise Network Flow Collector (IPFIX, sFlow, Netflow) 项目地址:https://gitcode.com/gh_mirrors/vf/vflow 在当今的网络环境中，高效、可靠的流量采集是网络管理和安全监控的关键。vFlow，一个由EdgeCast开发的高性能、可扩展且可靠的IPFIX、sF...
flow的采集与分析---clickhouse的简介和安装
weixin_34055787的博客
03-19 832
前言 最近在参与网络flow采集和分析的项目。主要是遵循netflow和sflow协议，完成对防火墙和核心交换机的流量的采集和存储以及后续分析。flow并发量和数据量都比较大，存储是瓶颈。最开始存储到prometheus和之后测试的infulxdb的方案均宣告失败。看来prometheus还是不适合大数据量的处理，如果数据量过大，需要考虑...
vflow：Verizon Media的企业网络流收集器（IPFIX，sFlow，Netflow）
02-03
高性能，可扩展且可靠的IPFIX，sFlow和Netflow收集器（用纯Golang编写）。 产品特点 IPFIX RFC7011收集器 sFLow v5原始标头/计数器收集器 Netflow V5收集器 Netflow v9收集器 解码sFlow原始标头L2 / L3 / L4 生产Apache Kafka，NSQ，NATS 将IPFIX和sFlow复制到第三方收集器 支持IPv4和IPv6 Prometheus和RESTful API监控 文献资料 。 。 。 。 。 。 。 解码的IPFIX数据 IPFIX数据解码为JSON格式，并且ID是 { " AgentID " : " 192.168.21.15 " , " Header " :{ " Version " : 10 , " Length " : 420 , " ExportTime " : 1483484642 , " SequenceNo " : 1434533677 , " DomainID " : 32771 }, " DataSets " :[[{ " I " : 8 , " V " : " 1
vflow-pouchdb:一个简单的流模块，用于通过更改提要使用 pouchdb 或 couchdb 作为写入事件流
06-24
vflow (PouchDB) vflow 是 palmetto 概念的一部分，vflow 模块是围绕 pouchDB 的更改提要的抽象，它创建了一个简单的 api 用于与写入流系统交互。 它基本上将其分解为一个事件发射器。 用法 var flow = require('vflow-pouchdb')('flowdb'); flow.on('<type>:<verb>', ...); flow.emit('<type>:<verb>', o); 安装 npm install vflow-pouchdb 该模块主要用于使用 Palmetto 架构概念的 vbridge 应用程序，利用一个写入位置以及组件和服务。
Go-vFlow高性能可扩展和可靠的IPFIX和sFlow收集器
08-14
《Go-vFlow：构建高性能、可扩展且可靠的IPFIX与sFlow收集器》 在现代网络监控和流量分析中，IPFIX（Internet Protocol Flow Information Export）和sFlow是两种广泛使用的流量采样协议。它们提供了对网络流量的...
Node-RED使用指南：12:导入导出flow
知行合一 止于至善
03-08 2663
在Node-RED中通过Node创建的各中flow的各个部分可以根据需要转化为JSON文件进行保存，UI编辑器中还提供了导入导出的功能界面进行操作。
视频行为识别检测综述 IDT TSN CNN-LSTM C3D CDC R-C3D
热门推荐
万有文的博客
06-20 14万+
本文github地址 Video Analysis之Action Recognition(行为识别) 行为识别就是对时域预先分割好的序列判定其所属行为动作的类型，即“读懂行为”。 [行为检测|论文解读]行为检测调研综述 较新 基于Deep Learning 的视频识别技术 科研成果—-中国科学院深圳先进技术研究院 面向人体姿态行为理解的深度学习方法 CVPR 2014 Tut...
VFlow_2.0:Xonro的vflow项目由Gradle构建
05-19
VFlow_2.0 xonro's vflow project build by gradle. 工程包含的模块及其说明如下： bases：基础模块，包含工程公共功能部分，其他模块均依赖该模块。主要有工具类功能、缓存管理； client：工程的客户端程序，即前台部分，这部分内容将在Nginx中部署； console：控制台模块，系统管理功能程序，存储命名以b_xr_console_为前缀，视图则以v_xr_console_为前缀； dataview：数据可视化功能模块，存储命名以b_xr_dataview_为前缀，视图则以v_xr_dataview_为前缀； wechat：微信公众平台功能模块，存储命名以b_xr_wechat_为前缀，视图则以v_xr_wechat_为前缀； workflow：工作流功能模块，存储命名以b_xr_workflow_为前缀，视图则以v_xr_workflow
Linux下Flow-tools和NetFlowExporter的安装和使用
11-11
本资源包括搭建Linux下产生Netflow v5格式的流量数据和采集flows流量的工具，详细的安装和使用文档，以及NetFlow技术的详细介绍，以及在CISCO路由器中如何配置路由器产生Netflow v9格式的数据。
探索VFlow：一个强大的流量监控与分析系统
gitblog_00004的博客
04-09 1万+
探索VFlow：一个强大的流量监控与分析系统 vflow项目地址:https://gitcode.com/gh_mirrors/vfl/vflow 是由Verizon Digital开发的一款开源的网络流量监控和分析工具，旨在帮助企业及开发者实时理解并管理他们的网络流量。本文将深入解析其技术背景、功能特性以及应用场景，以期吸引更多的用户加入到VFlow的使用行列中。 技术分析 设计理念 VFlo...
探索高效网络流量监控：vFlow —— IPFIX/sFlow/Netflow 收集器
gitblog_00010的博客
05-15 1万+
探索高效网络流量监控：vFlow —— IPFIX/sFlow/Netflow 收集器 vflow Enterprise Network Flow Collector (IPFIX, sFlow, Netflow) 项目地址:https://gitcode.com/gh_mirrors/vf/vflow vFlow 是一个基于纯 Go 语言编写的高性能、可扩展且可靠的 IPFIX、sFlow ...
vFlow 开源项目使用教程
gitblog_00047的博客
08-09 3409
vFlow 开源项目使用教程 vflow Enterprise Network Flow Collector (IPFIX, sFlow, Netflow) 项目地址:https://gitcode.com/gh_mirrors/vf/vflow 1. 项目的目录结构及介绍 vFlow 是一个企业级网络流量收集器，支持 IPFIX、sFlow 和 Netflow。以下是 vFlow 项目的目录结...
ipfix
the_dog_tail_grass的博客
06-15 672
IPFIX技术组网 　　IPFIX 是基于“流”的概念，一个流是指，来自相同的子接口，有相同的源和目的IP 地址，协议类型，相同的源和目的协议端口号，以及相同ToS 的报文，通常为5 元组。IPFIX 会记录这个流的统计信息，包括：时间戳，报文数，总的字节数。IPFIX 主要包括三个设备Export、Collector、Analyzer，三个设备之间的关系如下。 　　Export 对网络流进行分析处理，提取符合条件的流统计信息，并将统计信息输出Collector ； 　　 Collector 负责解析
网络数据采集技术snmp/netflow/sflow/network telemetry简介
legend050709的专栏
11-28 5435
telemetry/smnp/netflow
FLOW-3D铸造成形分析：选择材料与充填模拟
"本资源主要介绍了如何在FLOW-3D软件中进行铸造充填分析，特别是涉及了选择成形材料的步骤。FLOW-3D是一款强大的流体力学模拟软件，适用于各种工程领域的仿真分析，包括铸造过程。在进行铸造模拟时，选择正确的成形...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值