艾体宝干货 | 教程:使用ntopng和nProbe监控网络流量

本教程旨在分享如何通过 ntopng 和 nProbe 这两款工具,深入了解和掌握网络流量监控的艺术。我们将提供从基本概念到高级应用的全面指导,涵盖了在多种平台和设备上的部署和配置步骤。不论您是专业人员还是技术爱好者,跟随本教程,都能够有效地安装、配置并运用这些工具,以洞察网络的运行状态和性能,确保网络安全与高效运行。

一、什么是Ntopng

Ntopng 是原始 ntop 的下一代版本,它是一款用于监控网络使用情况的网络流量探测器。能从镜像流量、NetFlow 导出器、SNMP 设备、防火墙日志和入侵检测系统中收集流量信息,从而提供 360° 网络可视性。

ntopng 有三个版本:社区版、专业版(小型企业版)和企业版。社区版免费使用,并且开源。服务器的物理网卡可通过指定其接口名称进行监控,如./ntopng -i eth0

不过,我们将在流量收集模式下使用 ntopng 和 nProbe,后者可以充当探针/代理。nProbe 和 ntopng 之间的通信通过 ZeroMQ 进行,ZeroMQ 是一种发布-订阅协议,允许 ntopng 与 nProbe 通信。

ntpong 社区版安装在 Ubuntu 服务器 18.04.1 上,IP 地址为 172.17.100.7/16。Ubuntu 在 VirtualBox 虚拟机中运行。主机(华硕 k55vm)的 IP 地址为 172.17.100.2/16。主机与 SOHO 路由器相连,SOHO 路由器作为网关与 IP 地址为 172.17.100.1/16 的互联网网关相连。网络图如图 1 所示。

nProbe 安装在 Raspberry Pi 3B 上,IP 地址为 172.17.100.50/16。Windows 7 安装在受监控的 PC 上,IP 地址为 172.17.100.10/16,该 PC 连接到 Cisco Catalyst 交换机 3550 的 FastEthernet0/3。安装了 nProbe 的树莓派连接到 FastEthernet0/24。思科交换机连接到 SOHO 路由器。

图 1 - 网络拓扑结构

以下是拓扑结构中所有设备的默认密码列表。

设备 - 用户名/密码

  • 树莓派:pi/raspberry
  • Ubuntu 服务器 18.04:ubuntu/ubuntu
  • ntopng: admin/admin123
  • Cisco Catalyst 3550:admin/admin,enable 密码:cisco
  • ntpong Web 界面:http://172.17.100.7:3000

硬件

  • Raspberry PI 3B

- Raspbian GNU/Linux 9.4 (stretch)

- nProbe v.8.5.180917

  • 华硕 K55Vm 16GB 内存

- 主机操作系统 Linux Kubuntu 18.04.1

- 带客户虚拟机的 Oracle VirtualBox 5.2:

-- Ubuntu 16.04.5 服务器,已安装 Ntopng

1. 端口镜像配置

为了从连接 PC(172.17.100.10/16)的受监控(源)端口 Fa0/3 向连接 Raspberry PI 的目标端口 Fa0/24 发送流量,我们需要在 Cisco 上配置端口镜像功能:

Switch(config)# monitor session 1 source interface Fa0/3

Switch(config)# monitor session 1 destination interface Fa0/24 encapsulation dot1q ingress vlan 1

确保 nProbe 向 ntpong 发送流量。

2. 在 Raspberry Pi 3B 上安装 Raspbian Stretch

Raspbian Strech 安装在 Raspberry Pi 3B 上。nProbe 安装在 Raspbian Stretch 之上。

2.1 为 Raspberry Pi3 下载 Raspbian Stretch 并将映像复制到 SD 卡

我们将下载最新的 Raspbian Stretch 并将其保存到 x86-64 Kubuntu 18.04。

$ wget https://downloads.raspberrypi.org/raspbian_lite_latest

解压缩镜像

$ unzip raspbian_lite_latest

确保SD卡未被挂载。如果是,请卸载该卡。

$ sudo umount /dev/mmcblk0

将提取的 piCore 映像复制到 SD 卡。

$ sudo dd bs=4M if=2018-06-27-raspbian-stretch-lite.img of=/dev/mmcblk0 status=progress conv=fsync

从 Kubuntu 中取出 SD 卡并插入树莓派。用用户名 pi 和密码 raspberry 登录。

2.2. 利用 SD 卡上的所有空间

默认情况下,镜像文件只占用 4GB 的 SD 卡空间。请执行以下命令。

# raspi-config

导航至 Advanced Options(高级选项)-> A1 Expand Filesystem(A1 扩展文件系统) 确保操作系统可以使用 SD 卡上的所有存储空间。文件系统将在下次重启时扩大。

2.3 配置静态 IP 地址

为接口 eth0 设置静态 IP 地址。

# echo "interface eth0" >> /etc/dhcpcd.conf

# echo "static ip_address=172.17.100.50/16" >> /etc/dhcpcd.conf

# echo "static routers=172.17.100.1" >> /etc/dhcpcd.conf

# echo "static domain_name_servers=172.17.100.1 8.8.8.8" >> /etc/dhcpcd.conf

2.4 启用 SSH 服务器

导航至 Interface Options-> SSH(接口选项-> SSH)并单击 Yes(是)启用 SSH 服务器。

# raspi-config

2.5 设置时区

我们需要配置正确的时区(图 2)。

# dpkg-reconfigure tzdata

图 2 - Raspberry PI 上的时区配置

3. 在 Raspbian 上安装和配置 nProbe

3.1 安装 nProbe

下载并导入公钥。

$ wget http://packages.ntop.org/apt/ntop.key

$ sudo su

# apt-key add ntop.key

添加 ntop 软件源。

# echo "deb http://apt.ntop.org/stretch_pi armhf/" > /etc/apt/sources.list.d/ntop.list

# echo "deb http://apt.ntop.org/stretch_pi all/" >> /etc/apt/sources.list.d/ntop.list

# apt-get update

从软件源安装 nprobe。

# apt-get install nprobe

3.2 nProbe 配置

我们将在另一篇文章中讨论 nProbe 配置。

4. Ubuntu 18.04.1 服务器的安装和配置

Ubuntu 18.04.1 作为 VirtualBox guest 虚拟机运行,本教程不涉及其安装。

4.1 Ubuntu 18.04.1 服务器的静态 IP 地址配置

Ubuntu 18.04 使用 netplan 配置网络接口(图 3)。根据需要更改网卡名称,我的网卡名称是 enp0s3。

$ cat /etc/netplan/01-systemd-networkd-eth.yaml

图 3 - Ubuntu 18.04 的静态 IP 地址配置

保存更改。

$ sudo netplan apply

5. 在 Ubuntu 18.04.x LTS 服务器上安装和配置 Ntopng

ntpong 可以从软件源安装,也可以从源代码编译安装。我们将展示这两种方法,请选择你喜欢的安装方式。

5.1 从版本库安装 ntpong

将 repository universe 添加到 /etc/apt/sources.list 中(图 4)。使用你喜欢的文件编辑器。

$ sudo su

# vi /etc/apt/sources.list

图 4 -将 Universe 添加到 Ubuntu 存储库列表

# apt-get update

# apt-get install ntopng

5.2Ntop源码编译和安装

如果您喜欢手动安装,下面是步骤。

$sudo su

添加universe存储库,因为我们将从存储库中安装redis服务器(图4)。

安装PF_RING、nDPI和ntpong的依赖项。

$ sudo apt-get install autoconf pkg-config libtool libcurl4-openssl-dev rrdtool librrd-dev libmysqlclient-dev bison flex libpcap0.8-dev libmaxminddb-dev libsqlite3-dev libpcap-dev

5.2.1从存储库安装 Redis 服务器

$ sudo apt-get install redis-server redis-tools

5.2.2 PF_RING 安装

$ git clone https://github.com/ntop/PF_RING.git

$ cd PF_RING/kernel

$ make

$ sudo insmod ./pf_ring.ko

$ cd ../userland

$ make

$ cd ~

5.2.3 nDPI 安装

$ git clone https://github.com/ntop/nDPI.git

$ cd nDPI

$ ./autogen.sh

$ ./configure –with-pic

$ make

$ cd ~

5.2.4 ntopng 安装

$ git clone https://github.com/ntop/ntopng.git

$ cd ntopng

$ ./autogen.sh

$ ./configure

$ make geoip

$ make

$ sudo make install

5.2.5 ntopng 安装后步骤

如果您在启动 ntpong 时发现权限问题,请将以下目录的所有者从 root 更改为nobody。

# chown -R nobody /var/lib/ntopng/

6. 测试

打开您常用的网络浏览器并输入 URL http://172.17.100.7:3000。如果您正确遵循说明,您将看到 Ntopng 登录页面。默认用户名是admin,密码是admin。首次登录时系统会提示您更改密码。

我们将在下一个教程中讨论 ntpong 流收集模式。

图5-ntopng登录页面

黑客&网络安全如何学习

今天只要你给我的文章点赞,我私藏的网安学习资料一样免费共享给你们,来看看有哪些东西。

 1.学习路线图 

 攻击和防守要学的东西也不少,具体要学的东西我都写在了上面的路线图,如果你能学完它们,你去就业和接私活完全没有问题。

2.视频教程

网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己录的网安视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。

内容涵盖了网络安全法学习、网络安全运营等保测评、渗透测试基础、漏洞详解、计算机基础知识等,都是网络安全入门必知必会的学习内容。

 

 (都打包成一块的了,不能一一展开,总共300多集)

因篇幅有限,仅展示部分资料,需要保存下方图片,微信扫码即可前往获取

3.技术文档和电子书

技术文档也是我自己整理的,包括我参加大型网安行动、CTF和挖SRC漏洞的经验和技术要点,电子书也有200多本,由于内容的敏感性,我就不一一展示了。 

 因篇幅有限,仅展示部分资料,需要保存下方图片,微信扫码即可前往获取

4.工具包、面试题和源码

“工欲善其事必先利其器”我为大家总结出了最受欢迎的几十款款黑客工具。涉及范围主要集中在 信息收集、Android黑客工具、自动化工具、网络钓鱼等,感兴趣的同学不容错过。 

 还有我视频里讲的案例源码和对应的工具包,需要的话也可以拿走。

因篇幅有限,仅展示部分资料,需要保存下方图片,微信扫码即可前往获取

 最后就是我这几年整理的网安方面的面试题,如果你是要找网安方面的工作,它们绝对能帮你大忙。

这些题目都是大家在面试深信服、奇安信、腾讯或者其它大厂面试时经常遇到的,如果大家有好的题目或者好的见解欢迎分享。

参考解析:深信服官网、奇安信官网、Freebuf、csdn等

内容特点:条理清晰,含图像化表示更加易懂。

内容概要:包括 内网、操作系统、协议、渗透测试、安服、漏洞、注入、XSS、CSRF、SSRF、文件上传、文件下载、文件包含、XXE、逻辑漏洞、工具、SQLmap、NMAP、BP、MSF…

 因篇幅有限,仅展示部分资料,需要保存下方图片,微信扫码即可前往获取 

  • 15
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Spark Streaming 和 Flink 都是流处理框架,但在一些方面有所不同。 1. 数据处理模型 Spark Streaming 基于批处理模型,将流数据分成一批批进行处理。而 Flink 则是基于流处理模型,可以实时处理数据流。 2. 窗口处理 Spark Streaming 的窗口处理是基于时间的,即将一段时间内的数据作为一个窗口进行处理。而 Flink 的窗口处理可以基于时间和数据量,可以更加灵活地进行窗口处理。 3. 状态管理 Spark Streaming 的状态管理是基于 RDD 的,需要将状态存储在内存中。而 Flink 的状态管理是基于内存和磁盘的,可以更加灵活地管理状态。 4. 容错性 Flink 的容错性比 Spark Streaming 更加强大,可以在节点故障时快速恢复,而 Spark Streaming 则需要重新计算整个批次的数据。 总的来说,Flink 在流处理方面更加强大和灵活,而 Spark Streaming 则更适合批处理和数据仓库等场景。 ### 回答2: Spark Streaming 和 Flink 都是流处理框架,它们都支持低延迟的流处理和高吞吐量的批处理。但是,它们在处理数据流的方式和性能上有许多不同之处。下面是它们的详细比较: 1. 处理模型 Spark Streaming 采用离散化流处理模型(DPM),将长周期的数据流划分为离散化的小批量,每个批次的数据被存储在 RDD 中进行处理,因此 Spark Streaming 具有较好的容错性和可靠性。而 Flink 采用连续流处理模型(CPM),能够在其流处理过程中进行事件时间处理和状态管理,因此 Flink 更适合处理需要精确时间戳和状态管理的应用场景。 2. 数据延迟 Spark Streaming 在处理数据流时会有一定的延迟,主要是由于对数据进行缓存和离散化处理的原因。而 Flink 的数据延迟比 Spark Streaming 更低,因为 Flink 的数据处理和计算过程是实时进行的,不需要缓存和离散化处理。 3. 机器资源和负载均衡 Spark Streaming 采用了 Spark 的机器资源调度和负载均衡机制,它们之间具有相同的容错和资源管理特性。而 Flink 使用 Yarn 和 Mesos 等分布式计算框架进行机器资源调度和负载均衡,因此 Flink 在大规模集群上的性能表现更好。 4. 数据窗口处理 Spark Streaming 提供了滑动、翻转和窗口操作等灵活的数据窗口处理功能,可以使用户更好地控制数据处理的逻辑。而 Flink 也提供了滚动窗口和滑动窗口处理功能,但相对于 Spark Streaming 更加灵活,可以在事件时间和处理时间上进行窗口处理,并且支持增量聚合和全量聚合两种方式。 5. 集成生态系统 Spark Streaming 作为 Apache Spark 的一部分,可以充分利用 Spark 的分布式计算和批处理生态系统,并且支持许多不同类型的数据源,包括Kafka、Flume和HDFS等。而 Flink 提供了完整的流处理生态系统,包括流SQL查询、流机器学习和流图形处理等功能,能够灵活地适应不同的业务场景。 总之,Spark Streaming 和 Flink 都是出色的流处理框架,在不同的场景下都能够发挥出很好的性能。选择哪种框架取决于实际需求和业务场景。 ### 回答3: Spark Streaming和Flink都是流处理引擎,但它们的设计和实现方式有所不同。在下面的对比中,我们将比较这两种流处理引擎的主要特点和差异。 1. 处理模型 Spark Streaming采用离散流处理模型,即将数据按时间间隔分割成一批一批数据进行处理。这种方式可以使得Spark Streaming具有高吞吐量和低延迟,但也会导致数据处理的粒度比较粗,难以应对大量实时事件的高吞吐量。 相比之下,Flink采用连续流处理模型,即数据的处理是连续的、实时的。与Spark Streaming不同,Flink的流处理引擎能够应对各种不同的实时场景。Flink的实时流处理能力更强,因此在某些特定的场景下,它的性能可能比Spark Streaming更好。 2. 窗口计算 Spark Streaming内置了许多的窗口计算支持,如滑动窗口、滚动窗口,但支持的窗口计算的灵活性较低,只适合于一些简单的窗口计算。而Flink的窗口计算支持非常灵活,可以支持任意窗口大小或滑动跨度。 3. 数据库支持 在处理大数据时,存储和读取数据是非常重要的。Spark Streaming通常使用HDFS作为其数据存储底层的系统。而Flink支持许多不同的数据存储形式,包括HDFS,以及许多其他开源和商业的数据存储,如Kafka、Cassandra和Elasticsearch等。 4. 处理性能 Spark Streaming的性能比Flink慢一些,尤其是在特定的情况下,例如在处理高吞吐量的数据时,在某些情况下可能受制于分批处理的架构。Flink通过其流处理模型和不同的调度器和优化器来支持更高效的实时数据处理。 5. 生态系统 Spark有着庞大的生态系统,具有成熟的ML库、图处理库、SQL框架等等。而Flink的生态系统相对较小,但它正在不断地发展壮大。 6. 规模性 Spark Streaming适用于规模小且不太复杂的项目。而Flink可扩展性更好,适用于更大、更复杂的项目。Flink也可以处理无限制的数据流。 综上所述,Spark Streaming和Flink都是流处理引擎,它们有各自的优缺点。在选择使用哪一个流处理引擎时,需要根据实际业务场景和需求进行选择。如果你的业务场景较为复杂,需要处理海量数据并且需要比较灵活的窗口计算支持,那么Flink可能是更好的选择;如果你只需要简单的流处理和一些通用的窗口计算,Spark Streaming是更为简单的选择。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值