流量分流脚本（1）

2017/04/20
本次想实验下，从一堆报文里面分类出来HTTP的。
（这个只记录最开始的设想，后续最好是将再写一次记录文档，把内容都分清楚。）
（只用一些统计特征）
数据集：241上抓取的，包括了VNC、SSH及一个访问百度的HTTP报文。
训练数据集：原来抓取的存粹的访问百度的HTTPS的样本。（样本集太少）
最开始的设计，还是不够明确， 没有把各个函数与文件的关系构建好，所有的函数都挤压到了一个文件中，
这样一个文件的作用就开始模糊了。

---

第一步，写一个能够将所有的报文流提取出来的脚本。
编写stream类抽象流，包含了双向单项的内容。
这部分，还需要一个重要的操作，那就是还要提出tcp握手部分的内容。
这部分的内容应该是没有负载的，所有的链接都一样。
还有一个东西，需要考虑， 那就是有没有可能捕获到一部分的报文，握手什么的都不能抓到，而后面的反而都抓到了，这就有点尴尬。
另外，一些报文的长度很长，影响最后的分类效果。
（所有这部分，很需要知道实际的网络环境。）
看来实际写的时候，还是需要非常多的内容需要考虑。
由于得到的流里面，有很多内容，这部分怎么处理。

 

流结果

很多流量都是熟知端口的， 我可以不可以将他们直接剔除？！
（暂时跳过，先进行训练样本的提取）
第二步，提取特征
注意，这部分的特征提取，应该是针对一个大部分的样本进行（训练的）。
还是有一些，东西跳出来的。

 

---

 

单向流

 

横轴为包长方差，这个其实有点尴尬，就是不知道为什么会这么高。
竖轴为包长均值，
因为前期的数据包处理，还是不够精细，这里面还是一大堆的乱七八糟的内容。
看一下双向的。

 

 

双向流