网络
赵宗义11
邮箱:xinshengzzy@foxmail.com
码云: https://gitee.com/zhao_zong_yi
展开
-
常见sketch简介
文章目录Count-Min (CM) SketchConservative-Update (CU) SketchCount Sketch假设我们有一个数据包序列S={p1,p2,⋯ ,pn}\mathrm{S}=\{p_1, p_2, \cdots, p_n\}S={p1,p2,⋯,pn}. h1(.),h2(.),⋯ ,hd(.)h_1(.), h_2(.), \cdots, h_d(.)h1(.),h2(.),⋯,hd(.)均为哈希函数. 对于任意一个数据包pip_ipi, 假设它的流标原创 2020-11-06 13:58:30 · 1741 阅读 · 0 评论 -
网络中丢包的原因及类型
在本文中我会总结一些论文相关论文中关于网络中丢包的原因的论述.网络中的丢包可以分为如下几个类型:拥塞: 这个比较好理解, 就是交换机/路由器中多个端口向一个端口发送数据包, 最后导致数据包数量超过了这个端口的缓冲区的容量, 从而导致丢包. [1]持续性的黑洞: 在交换机中, 和特定模式匹配的所有数据包都会丢失. 这种现象的成因是匹配-动作表的损毁或者控制器造成的转发规则配置错误. [1]暂时性的黑洞: 在交换机中, 在一段较短的时间内, 和特定模式匹配的所有数据包都会丢失. 这种现象的成因是, 转原创 2020-09-14 10:48:28 · 3389 阅读 · 0 评论 -
计算机网络中常用的一些数据
DRAM的访问时间为数十纳秒. [1]参考文献\textbf{参考文献}参考文献[1] Y. Lu, A. Montanari, B. Prabhakar, S. Dharmapurikar, and A. Kabbani, “Counter Braids: A Novel Counter Architecture for Per-flow Measurement,” in Proceedings of the 2008 ACM SIGMETRICS International Conference .原创 2020-07-01 15:31:25 · 1523 阅读 · 0 评论 -
Measuring Burstiness in Data Center Applications阅读笔记
文章目录文章信息信息摘录文章信息J. Woodruff, A. W. Moore, and N. Zilberman, “Measuring Burstiness in Data Center Applications,” in Proceedings of the 2019 Workshop on Buffer Sizing, Palo Alto, CA, USA, Dec. 2019, pp. 1–6, doi: 10.1145/3375235.3375240.信息摘录微突发流量 (microb原创 2020-07-01 09:22:10 · 357 阅读 · 0 评论 -
Router Support for Fine-Grained Latency Measurements阅读笔记
文章目录文章信息阅读笔记文章信息R. R. Kompella, K. Levchenko, A. C. Snoeren, and G. Varghese, “Every Microsecond Counts: Tracking Fine-Grain Latencies with a Lossy Difference Aggregator,” in ACM SIGCOMM Computer Communication Review, 2009, vol. 39, pp. 255–266.阅读笔记大多数原创 2020-06-30 21:13:01 · 171 阅读 · 0 评论 -
用libpcap分析CAIDA的网络流量文件的猝发性
在这个程序中我们将对一个CAIDA的流量文件equinix-nyc.dirB.20180419-131800.UTC.anon.pcap进行分析.这个流量文件中包含的数据包数为74940702个, 其中TCP和UDP数据包为70084416个,数据包到达速率大约为1.25Mpps. 我们使用容量无限, 流出速率为12.5Mpps的先进先出队列对这个流量文件进行处理, 并计算在最坏情况下队列的长度 (即队列最拥塞的时候队列中的数据包数). //解析.c#include <pcap.h>...原创 2020-06-27 20:41:56 · 466 阅读 · 0 评论 -
震惊! CAIDA的pcap文件不包含以太网包头
我在用libpcap分析从caida下载的流量文件equinix-nyc.dirA.20180419-125909.UTC.anon.pcap, 希望打印出其中的TCP数据包的流标识符. 我的分析程序如下: //解析.c#include <pcap.h>#include <net/ethernet.h>#include <netinet/ip.h>#include <netinet/in.h>#include <netinet/tcp.h原创 2020-06-27 13:31:52 · 536 阅读 · 0 评论 -
在C++中使用libpcap获取pcap文件中数据包的时间戳
如题目所述, 本文主要分享一个在C++中获取pcap文件中数据包的时间戳的小程序. //解析.c#include <pcap.h>#include <net/ethernet.h>#include <netinet/ip.h>#include <netinet/in.h>#include <netinet/tcp.h>#include <arpa/inet.h>#include <stdio.h>#in原创 2020-06-27 12:46:54 · 2045 阅读 · 0 评论 -
英文论文中的计算机网络术语与其缩写
FET: flow event telemetryPDP: programmable data plane原创 2020-06-13 13:53:20 · 425 阅读 · 0 评论 -
在苹果电脑上建立建立L2TP通道并解决`L2TP-***服务器没有响应`的问题
以下内容来自此处和此处.建立L2TP通道的步骤如下:1. 打开'系统偏好设置'.2. 打开'系统偏好设置'中的'网络'选项 (即上图中的第三行第四项).3. 点击+号, 并在弹出的'请选择接口并为新服务输入名称'的对画框中将'接口'设置成为'***', 将'***类型'设置成为'L2TP/IPSec'. '服务名称'可以设置成为任意值, 比如这里我把它的值设置成为'*** (L2TP)测试'. 最后点击'创建'按钮.4. 填写'服务器地址'和'账户名称'. 这里的服务器地原创 2020-05-30 21:16:20 · 12203 阅读 · 10 评论 -
Fine-Grained Queue Measurement in the Data Plane研读笔记
文章目录文章信息文章内容问题描述算法描述文章信息X. Chen et al., “Fine-Grained Queue Measurement in the Data Plane,” in Proceedings of the 15th International Conference on Emerging Networking Experiments And Technologies, Orlando, Florida, Dec. 2019, pp. 15–29文章内容问题描述这篇文章研究的问原创 2020-05-14 17:29:05 · 345 阅读 · 0 评论 -
分享一个在C语言中用libpcap解析pcap文件的小程序
如题, 分享一个在C语言中用libpcap解析pcap文件的小程序. 这个小程序的运行逻辑是检查以太网帧, 如果ether_type显示以太网帧中包含了一个IP报文的话继续对齐进行处理; 接着检查IP报文的协议字段, 如果它的协议字段显示其中包含一个TCP包的话, 则打印数据包的源和目标IP地址, 源和目标端口号, TCP包头的序列号和确认号. 代码如下://测试.c#include <pcap.h>#include <net/ethernet.h>#include <原创 2020-05-12 15:03:49 · 1677 阅读 · 1 评论 -
IP报头的协议类型字段取值
以下内容来自此处.IP报头的协议类型字段定义如下:取值协议0HOPOPT1ICMP2IGMP3GGP4IP-in-IP5ST6TCP7CBT8EGP9IGP10BBN-RCC-MON11NVP-II12PUP13ARGUS14EMCON15XNET16CHAOS17UDP18MUX19DCN-MEAS20HMP21P原创 2020-05-12 00:43:08 · 9759 阅读 · 0 评论 -
以太网帧 (Ethernet Frame)的格式
以下内容摘自此处和此处.以太网帧的格式如下图所示.Preamble是包含7个字节, 每个字节都是10101010的形式.SFD (Start of frame delimiter) 的值为10101011. 有时候, SFD也被认为是PREAMBLE的一部分.Destination Address 和 Source Address即我们通常所说的源和目的MAC地址. 这两个字段的长度均为6字节, 但是较老的版本也有采用2字节的.Length表示整个以太网帧的有效载荷的长度 (不包括以太网帧的头原创 2020-05-11 23:26:10 · 7814 阅读 · 0 评论 -
What’s the Difference? Efficient Set Reconciliation without Prior Context研读笔记
文章目录文章信息文章信息D. Eppstein, M. T. Goodrich, F. Uyeda, and G. Varghese, “What’s the Difference? Efficient Set Reconciliation without Prior Context,” in Proceedings of the ACM SIGCOMM 2011 conference, Toronto, Ontario, Canada, Aug. 2011, pp. 218–229, doi: 10.原创 2020-05-09 22:15:50 · 238 阅读 · 0 评论 -
分享一个下载RFC的网站
分享一个下载RFC的网站: https://datatracker.ietf.org这个网站不仅能够提供RFC的PDF版本, 而且还能下载引用信息. 更重要的是, 可以通过zotero直接保存它的PDF版本和引用信息....原创 2020-05-08 11:06:23 · 1218 阅读 · 0 评论 -
Every Timestamp Counts研读笔记
文章目录文章信息文章信息Y. Fu, P. Barlet-Ros, and D. Li, “Every Timestamp Counts: Accurate Tracking of Network Latencies Using Reconcilable Difference Aggregator,” IEEE/ACM Trans. Networking, vol. 26, no. 1, pp...原创 2020-05-07 22:21:30 · 225 阅读 · 0 评论 -
Not All Microseconds are Equal研读笔记
文章目录文章信息文章信息M. Lee, N. Duffield, and R. R. Kompella, “Not all microseconds are equal: fine-grained per-flow measurements with reference latency interpolation,” in Proceedings of the ACM SIGCOMM 2010...原创 2020-05-06 09:17:38 · 208 阅读 · 0 评论 -
Every Microsecond Counts: Tracking Fine-Grain Latencies with a Lossy Difference Aggregatory研读笔记
研读笔记原创 2020-05-04 22:15:32 · 215 阅读 · 0 评论 -
Sketching the Delay: Tracking Temporally Uncorrelated Flow-Level Latencies研读笔记
这篇文章提出了一个用梗概(sketch)来测量数据流的延迟的方法.原创 2020-05-04 16:57:22 · 324 阅读 · 0 评论 -
NitroSketch: Robust and General Sketch-based Monitoring in Software Switches研读笔记
基于采样的测量方法只有当测量时间足够长以后才能够提供准确率的保证. 我们把收敛时间定义成为从开始测量到获得准确的测量结果所用的时间.原创 2020-05-01 12:15:19 · 769 阅读 · 2 评论 -
Zero-One Frequency Laws研读笔记
定义1.1 令m,nm, nm,n分别为正整数. D=D(n,m)=[p1,⋯ ,pm]D=D(n, m) = [p_1, \cdots, p_m]D=D(n,m)=[p1,⋯,pm], 其中pi∈{1,⋯ ,n}p_i\in \{1, \cdots, n\}pi∈{1,⋯,n}. DDD的频率向量为M=M(D)=[m1,⋯ ,mn]M=M(D) = [m_1, \cdots, m_n]M=...原创 2020-04-30 14:47:12 · 261 阅读 · 0 评论 -
Generalizing the Layering Method of Indyk and Woodruff阅读笔记
< Generalizing the Layering Method of Indyk and Woodruff: Recursive Sketches for Frequency-Based Vectors on Streams> 阅读笔记频数距: frequency moment信息流: stream定义1. 令m,nm, nm,n均为正整数. 信息流D=D(n,m)D = ...原创 2020-04-26 20:12:08 · 332 阅读 · 0 评论 -
One Sketch to Rule Them All: Rethinking Network Flow Monitoring with UnivMon阅读笔记
D(m,n)D(m, n)D(m,n)是一个长度为mmm, 包含nnn个不同元素的信息流 (stream). 假设这些元素分别为[1,2,⋯ ,n][1, 2, \cdots, n][1,2,⋯,n], fif_ifi是元素在信息流中iii的频数. 假设g()g()g()是任意一个函数, 则我们将∑i=1ng(fi)\sum_{i=1}^ng(f_i)∑i=1ng(fi)称为频数向量的g−s...原创 2020-04-26 15:17:49 · 1071 阅读 · 1 评论 -
An Improved Data Stream Summary: The Count-Min Sketch and its Applications阅读笔记
注: 在本文中, 我将暂时将sketch翻译成为梗概我们首先定义两个参数和, 则梗概的准确性保证可定义为, 我们向这个梗概发起一个查询, 查询结果小于因子的概率大于.Frequency Moment:数据流型(stream)的定义如下: 假设有一个向量, 且, 当一个更新项于时间到达的时候, 则有:如果是必须为正, 则该数据流是现金注册型 (cash register c...原创 2020-04-25 22:33:10 · 842 阅读 · 2 评论 -
分享对几个网络流量文件的分析结果
本文分享对几个网络文件的分享结果, 其中以CAIDA开头的文件来自CAIDA的数据库, 而HGC开头的文件来自香港全球通信, 文件名因为不是我起的, 所以文件名的含义不做强行解释. 对网络流量文件的分析结果如下:CAIDA.equinix-nyc.dirA.20180315-130000.UTC.anon.pcap 数据包数 27574431 TCP数据包数 22831394...原创 2020-03-31 19:23:35 · 753 阅读 · 1 评论 -
光学载波网络(SONET OC)的网络带宽
以下内容摘自此处.不同等级的光学载波网络的网络带宽如下:光学载波网络等级 带宽 OC-1 ~52 Mbps OC-3 ~156 Mbps OC-12 ~622 Mbps OC-24 ~1.2 Gbps OC-48 ~2.5 Gbps OC-192 ~9.6 Gbps OC-768 ~38.5 Gbps ...原创 2020-03-31 12:48:42 · 1230 阅读 · 0 评论 -
分享一个提取pcap文件中数据包时间戳的python小程序
如题, 分享一个在python中提取时间戳的小程序.from scapy.all import *import jsonlimit = 26000000count = 0timestamps = []filename = "./CAIDA.equinix-nyc.dirA.20180315-130000.UTC.anon.pcap"dst = "./timestamp.json...原创 2020-03-27 21:03:58 · 5117 阅读 · 1 评论 -
分享一个修改pcap文件中数据包属性的python源代码
当我们获取一个pcap文件并使用tcpreplay重放它的时候,因为pcap文件中数据包的源和目的mac地址和我们的源和目的主机的mac地址不一致,因此可能会导致我们在目的主机上接收不到这些数据包。此外,pcap文件中通常会有一些损坏的包,比如UDP包的有效载荷的长度和UDP头部中声明的长度不一致,这样也会导致目的主机拒绝接收数据包。为此,我编写了一个小程序,它的目标是把原pcap文件中U...原创 2019-12-29 17:46:11 · 1306 阅读 · 0 评论 -
在Ubuntu中如何设置临时的和永久的默认路由?
声明:我的操作系统是Ubuntu 18.4,如下所示:root@cnptucs1:~# lsb_release -aNo LSB modules are available.Distributor ID: UbuntuDescription: Ubuntu 18.04.1 LTSRelease: 18.04Codename: bionic所以设置静态IP地址和默认路由都...原创 2019-12-24 22:18:59 · 16633 阅读 · 2 评论 -
使用交换机相连的两台主机如何使用任意IP地址进行通信?
我们有两台主机ucs1和ucs2通过一台交换机相连,且这两台主机与交换机相连的网卡都是eno6。我们将ucs1.eno6的IP地址设为10.0.0.10,将ucs2.eno6的IP地址设为10.0.0.11,如下图所示:此时我们可以在它们之间实现通信,如下:此外,我们在ucs2上有一个C程序用于接收UDP数据包,其代码如下:// server.c#include...原创 2019-12-24 19:58:05 · 2206 阅读 · 0 评论 -
分享‘一个‘在python中’构造‘并’通过‘指定’网络接口‘发送’数据包‘的’程序
from scapy.all import *ETHERTYPE_IPV4 = 0x0800IPV4_TCP = 0x0006IPV4_UDP = 0x0011p = Ether(type = ETHERTYPE_IPV4)/IP(src = "10.0.0.10", dst = "10.0.0.11", proto = IPV4_TCP)/TCP()k = 5for i i...原创 2019-12-08 16:30:18 · 688 阅读 · 0 评论 -
分享一个使用python的scapy包来提取pcap文件中TCP数据包的标志位的代码
如题所述,分享一个使用python的scapy包来提取pcap文件中TCP包的标志位的代码。from scapy.all import *FIN = 0x01SYN = 0x02RST = 0x04PSH = 0x08ACK = 0x10URG = 0x20ECE = 0x40CWR = 0x80caida = "/home/zongyi/traces/CAID...原创 2019-11-19 13:55:40 · 1801 阅读 · 0 评论 -
分享一个提取pcap文件中TCP和UDP数据包的五元组并将其转存在一个json文件中的源代码
如题,分享一个提取pcap文件中TCP和UDP数据包的五元组即(源IP地址,目的IP地址,源端品号,目的端口号,协议类型)并将其转存在一个json文件中的源代码。另外,我有清华校园网,中国电信,香港全球通信以及CAIDA的trace,其中清华校园网和中国电信的trace文件是数据流的形式(中国电信是1:5000的NetFlow采样比),香港全球通信和CAIDA的trace文件是数据包的形式...原创 2019-11-16 21:49:10 · 1932 阅读 · 3 评论