流量分类
文章平均质量分 56
Icoding_F2014
相信代码可以变化世界
展开
-
Triplet Loss原理及实现
Triplet Loss的动机一个好的特征提取器,应该尽可能的做到同类别样本映射出来的特征会聚集在一起,而不同类别的样本映射出来的特征应该要相互远离。为了达到这个目标,Triplet Loss显式的在Loss里面要求:不同类别之间的距离至少要超过同类别之间距离的某个阈值。如果能够做到这一点,那么类内距和类间距之间差就有一个明显的鸿沟,那么也可以达到上面提到的目标。Triplet Loss的定义Triplet Loss里面包含若干三元组:锚点 anchor正例 positive负例 negat原创 2021-12-10 11:17:55 · 3155 阅读 · 0 评论 -
Centos 7 源码安装tshark 3.x
Centos yum源带的tshark版本特别低,我们需要更高版本的tshark。下载tshark源码wget -c http://ftp.uni-kl.de/pub/wireshark/src/all-versions/wireshark-3.2.3.tar.xz注意,3.2.3版本是可行的,编译过程不会报错。 178 tar -xvf wireshark-3.2.3.tar.xz 179 cd wireshark-3.2.3 180 cmake3 181* make -i原创 2021-10-13 15:14:44 · 1366 阅读 · 0 评论 -
GitDown: 下载Github特定文件夹
简介如果Github的项目太大,直接git clone可能下载到半路就中断了,导致反反复复下载不了。这个时候应该咋办呢?本人写了一个支持Github特定文件夹内容下载的项目:GitDown.github地址为:https://github.com/jmhIcoding/GitDown目前已经公开的类似项目,经常会出现下载文件丢失的问题,我这个项目会自动检测丢失,对于未成功下载的文件会反复尝试下载。使用方法安装pip3 install pygithub requestsgit clone原创 2021-10-01 19:27:52 · 845 阅读 · 1 评论 -
windows IPSEC自动重连工具
家里有台电脑,需要通过IPSEC连接到公司里面,但是经常会断。于是看是否存在WINDOWS下的自动重连工具:这是有的。http://blog.evomailserver.com/how-to-make-windows-108-connect-and-reconnect-to-vpn-automatically/安装autovpnconncet以后,它会自动从系统读取已经设置好的vpn列表,填好用户名密码,save即可。还是很好使的!...原创 2021-09-18 08:53:19 · 1105 阅读 · 0 评论 -
networkx画弯曲的边
networkx里面自绘的边都是直的,当多个节点处于同一条直线还有连边的时候就特别难看。如果能否让networkx画弯曲的边,那么这种情况就可以好办的多了。思路为:绘制节点,获取节点的pos坐标。在存在边的两个节点之间,使用贝塞尔插值生成两个节点之间曲线的节点坐标。使用LineCollection绘制线即可。下面为整理的代码:直线连边版:贝塞尔曲线连边版:...原创 2021-09-05 20:58:16 · 1904 阅读 · 0 评论 -
Ubuntu 16.04安装tshark 3.x
tmd ubuntu 16.04里面apt自带的tshark是2.6的,导致有些协议、字段使用不了,于是需要更新。步骤:sudo add-apt-repository ppa:wireshark-dev/stablesudo apt updatesudo apt install wiresharksudo apt install tshark可能需要换apt源:deb https://mirrors.ustc.edu.cn/ubuntu/ xenial main restricteddeb原创 2021-09-01 15:25:39 · 1560 阅读 · 0 评论 -
TLS流量的X509证书解析,从pcap获取证书并解析
如何从TLS流里面提取证书,并解析证书的字段?__author__ = 'dk'#x509证书解析try: from cryptography import x509 from cryptography.hazmat.backends import default_backendexcept BaseException as exp: raise BaseException('Please install cryptography library: pip3 install原创 2021-08-31 19:19:00 · 3469 阅读 · 0 评论 -
pytorch 踩坑集
错误1: 多LossRuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=True when calling backward the first time.原因:一次feed,多次backward()了。方法:把各个LOSS加权求和起来,然后再backward().原来有问题的代码:原创 2020-11-13 19:27:15 · 429 阅读 · 0 评论 -
Keras获取中间层输出
其中,self里面有三个对象:keras compile出来的图,self.model。model对应的图 self.graph,model所在的会话 self.session。 def get_feature_map(self,X,layer_name='block1_conv1'): ''' 获取特定中间层的特征图 :param X: 输入数据 :param layer_name: 层的名字,str :re原创 2020-11-11 11:18:39 · 584 阅读 · 0 评论 -
NFLOG 网络pcap数据包转以太网pcap数据包
项目介绍本项目支持将从Linux NFLOG网卡抓取的NFLOG 帧转换为常见的以太网帧。项目地址:https://github.com/jmhIcoding/nflog_to_eth.git环境要求:Windows : 需要安装VC++ 2013 运行库Linux : 需要安装g++, libpcap-dev项目编译方式源码安装VS2013打开vsrc目录,里面有个vsrc.sln项目文件,用VS2013打开这个项目文件,然后编译就可以。Linuxsudo apt-get inst原创 2020-10-30 18:18:20 · 689 阅读 · 1 评论 -
traffic_classification_utils使用文档
website_fingerprinting目前本项目支持如下模型:Deep FingerprintingSDAELSTMCNN剩余两个是统计机器学习模型:【 目前这两个模型没有适配好,但是里面的特征提取是有效的】CUMULAppScanner使用方法数据准备首先,需要准备好数据格式:需要将网络流量整理为如上的6个文件,并放在同一个目录,文件名如上。X_train_pkt_length.pkl : 包长序列,训练集。X_valid_pkt_len原创 2020-10-13 17:39:56 · 1317 阅读 · 7 评论 -
flowcontainer: 基于python3的pcap网络流量特征信息提取库
库介绍flowcontainer是本人编写的基于python3的网络流量基本信息提取库,方便做加密网络流量的分类任务。给定pcap文件,该库会提取pcap所有的流的相关信息,其中流信息包括:流的源端口、源IP、目的IP、目的端口、IP数据包的长度序列、IP数据集的到达时间序列、有效载荷序列以及相应有效载荷的到达时间序列、TLS的SNI。库会对IP数据包做过滤,那些tcp/udp载荷不为0的数据包会统计到有效载荷序列里面。工具简单易用,扩展性和复用性高。库的安装pip3 install git+http原创 2020-07-06 05:56:22 · 19280 阅读 · 56 评论 -
Traffic_parse 流量特征解析项目
项目介绍做流量分类,需要提取网络流量的原始特征。这里的原始特征包括:包长、包到达时间间隔、特殊头部字段、载荷。。。等等。pyshark,scapy等python包解析库太特么难用了。难用主要体现在,对于标注的传输层协议UDP/TCP,它的属性字段是变化的。举个例子UDP上面的NetBIOS,pyshark和scapy就不同通过访问udp.payload得到,真是自作聪明。所以,还是自己写代码提取所需要的特征吧。再多吐槽几句:pyshark,scapy就是垃圾!!!!项目地址:https://git原创 2020-06-26 07:35:04 · 1059 阅读 · 0 评论 -
强烈DISS pyshark
pyshark是对tshark做了一个封装。pyshark就是个垃圾,自作聪明滴对包的属性乱起名字,而且文档也是垃圾。最大的诟病:速度慢随意定义各层的属性。比如UDP里面如果套了个NetBIOS,UDP居然连payload这个属性都没!...原创 2020-06-25 09:09:44 · 743 阅读 · 0 评论 -
tshark 使用技巧
tshark 删除乱序、重传数据包:tshark -2 -R "not tcp.analysis.retransmission && not tcp.analysis.out_of_order" -r 源文件.pcap -w 目标文件名.pcap'tshark 获取tcp流,并保存text格式tshark -r 源文件.pcap -qz follow,tcp,raw,tcp流的编号流的编号是0开始的。其中raw是16进制串表示流的数据:还可以hex显示,有数据的偏移:t原创 2020-06-23 21:55:29 · 2923 阅读 · 5 评论 -
Android 获取系统、应用信息小技巧
获取指定APP的userIdadb shell dumpsys package 包名 | findstr userId示例:PS C:\Windows\system32> adb shell dumpsys package com.findtheway | findstr userId userId=10167获取指定APP的版本号adb shell dumpsys package 包名| findstr versionName示例:PS C:\Windows\system原创 2020-06-19 08:08:49 · 1254 阅读 · 0 评论 -
Infocom 2020 论文快读
URL: https://infocom2020.ieee-infocom.org/accepted-paper-list-main-conference选读网络流量分类领域的论文。Autonomous Unknown-Application Filtering and Labeling for DL-based Traffic Classifier UpdateJielun Zhang, Fuhao Li, Feng Ye and Hongyu Wu (University of Dayton,原创 2020-06-04 20:48:40 · 2847 阅读 · 1 评论 -
安卓系统按应用/进程抓包方法
前言日常科研生活中有许多抓取安卓手机上特定应用的纯净数据包的需求。目前常见的做法是通过应用设置,关闭其他非目标应用的网络访问权限(包括访问WLAN和流量数据),只把目标应用的访问网络权限打开。这种方法具有一定的可行性,但是缺点在于无法去除关闭OS自己产生的流量,这还是会引入一些背景杂流。本文提供的方法可以实现直接按进程/应用过滤数据包,可以捕获完全纯净的应用数据。本方法的技术路线如下:Android系统在用户安装好某个APP会,就会给这个APP分配一个设备内唯一的user id,这个user i原创 2020-05-11 06:27:20 · 3329 阅读 · 0 评论 -
NDSS 2020论文快读
CloudLeak: Large-Scale Deep Learning Models Stealing Through Adversarial ExamplesHonggang Yu and Kaichen Yang (University of Florida); Teng Zhang (University of Central Florida); Yun-Yun Tsai and Tsung-Yi Ho (National Tsing Hua University); Yier Jin (Un..原创 2020-05-30 10:22:37 · 3511 阅读 · 0 评论 -
网络流量领域公开数据集及工具库
流量分类领域数据集本博客持续更新,收集平常读论文时提高的公开数据集和工具库。数据集详情http://traces.cs.umass.edu/index.php/Network/Network 系列:这个网站提供了该学院很多数据集,这些数据集是他们发表论文时提取的,然后公开出来。WebIdent 2 Traces数据集描述:A collection of traces of web reque...原创 2019-05-29 10:35:32 · 45709 阅读 · 41 评论