- 博客(47)
- 收藏
- 关注
RSS订阅原创 侯捷--迷时师度 悟了自度
《迷时师度 悟了自度》 侯捷 1998.04.20 第一次发表於清大.枫挢驿站.电脑书讯 CompBook 版（140.114.87.5）以下是全文内容，颇为深刻：元智大学和清华大学的资讯系同学，最近不约而同邀请我在自校的资讯周上 为同学们做个演讲。对於那些吊尔郎当，连自己也不关心自己的同学，我向来一 点气力都舍不得花；但对於积极上进的同学，我可倒是很喜欢和他们谈话。曾经在不同的学校讲过好些个不同的谈话性题目（非关技术，但都不脱资讯范围），这次有感於在学校任教三年了，颇知道同学们的一些学习情况，所以想和
2022-04-21 11:08:00
574
原创 BCC在ubuntu18.04源码安装
BCC在ubuntu18.04源码安装由于官网的安装地址有一些问题，不能直接在apt官方库安装，因为有一些名字上的不同，并且有一些tools和文件没有下载下来，不能够完全使用所以推荐使用源码安装，但是一定要下载bcc-src-with-submodule.tar.gz，src-with-submodule不然会有一些报错，不要git clone目前安装bcc有两种方式，一种是直接使用发行版提供的软件包，Ubuntu里叫bpfcc-tools，CentOS7中的是bcc-tools。另一种方式是源码编译
2022-03-03 15:34:27
7488
4
原创 Transformer深入理解（持续更新）
Transformer深入理解（持续更新）编码器：原文是6个编码器堆叠（数字6没有什么神奇之处，你也可以尝试其他数字）解码组件部分也是由相同数量（与编码器对应）的解码器（decoder）组成的。所有的编码器在结构上都是相同的，但它们没有共享参数。每个编、解码器都可以分解成两个子层：自注意力层和前馈神经网络，我们首先将每个输入单词通过词嵌入算法转换为词向量，每个单词都被嵌入为512维的向量将输入序列进行词嵌入之后，每个单词都会流经编码器中的两个子层。接下来我们看看Transformer的一个核心特
2022-03-03 15:01:48
5918
原创 USENIX2022 FOAP 细粒度app流量识别
FOAP: Fine-Grained Open-World Android App Fingerprinting开放世界的app指纹细粒度识别，其中第一开放世界是指对新类别的app进行识别，第二细粒度指的是对app内部特定UI操作的识别。1、Workflow of FOAP识别方法级别的用户操作从加密流量的开放环境中训练阶段：1、网络流打标签自动或者手动运行app，收集app的流量，也就是日志（采集的截图代码日志等）和pcap文件首先需要确定一条网络流是否来自app，这样就打上应用级别的标签，
2022-02-17 18:50:07
1190
1
转载 安全自动化和IACD框架
自动化美国网络安全 | 安全自动化和IACD框架安全自动化是安全从业者的梦想。安全主要解决两方面问题：时间问题（速度越来越快）和空间问题（规模越来越大）。安全归根结底是要在时间和空间这两个维度上，提高自动化防御的有效性。安全自动化开始，深入到它的理论和实现框架IACD（集自适应网络防御）和ICD（集成网络防御）的细节，最后引出安全度量的问题经过Gartner和业界的宣传，SOAR（安全编排、自动化和响应）作为安全自动化的实现技术，已经广为人知。如果非要说说IACD与SOAR的区别，笔者认为，SOAR
2022-01-11 16:38:51
1026
原创 DPU相关调研（2）SDN、P4 and ZeroTrust
SDN、P4 and ZeroTrust这篇文章描述了在软件定义网络中通过网络可编程技术的发展来实现零信任架构的目标让我们来研究一下实现零信任体系结构的一个关键技术组件的演变——数据中心的可编程、边缘加速、SmartNIC技术。OpenFlow, the first SDN standard安全定义的路由（SDR）的概念。SDR将网络分析和SDN结合起来保护网络。SDR解决方案使用Snort来监视网络流量并生成对日志文件的警报。应用程序监视日志文件并使用OpenFlow以拒绝和镜像可疑流量以进行事务
2022-01-07 11:25:38
724
原创 通过加密的网络流量窃听智能手机应用程序中细粒度的用户活动
Eavesdropping on Fine-Grained User Activities Within Smartphone AppsOver Encrypted Network Traffic通过加密的网络流量窃听智能手机应用程序中细粒度的用户活动整个论文立意，以此为主，以分类用户活动算法为主，收集方式为辅助一、摘要高度智能的app是以隐私为代价的，被动的窃听者例如在无线网络上识别细粒度的用户活动通过网络流量。仅通过IP包头和元数据。尽管被广泛加密，即每个应用程序的高度特定（定制）的实现会在
2022-01-05 14:45:15
2750
转载 DPU相关调研学习（1）
DPU相关调研学习（1）本篇文章的内容多来自互联网上的内容，SDNLAB输出为主。一、从P4到DSA，SDN终于回到硬件定义时代未来发展主要迎来黄金时代：John Hennessy和David Patterson描绘了计算机架构新的黄金时代和领域特定架构的重要性。对于网络工程师而言，无论是核心网关还是边缘计算都需要考虑充分利用网络的可编程性。从可编程交换机、智能网卡到服务器上的网络协议栈，在这个生态系统中，智能网卡占据得天独厚的位置。它既是服务器网络的延伸，也是DCN网络的终结；它既要面对网络的高
2021-12-06 21:19:18
357
原创 P4论文翻译浅读
P4原论文研读P4: Programming Protocol-Independent Packet Processors这里原文翻译就是：可编程的协议无关的数据包处理器摘要P4是一种用于编程协议无关的包处理器的高级语言。在支持P4语言的地方都能够应用，主要还是交换机（路由器）上的应用。P4工作在SDN的控制平面，就像openflow，openflow有一些缺点，需要针对特定的协议头尽心操作，操作集合字段几年就从12个增加到41个，复杂性增长了并且针对新的头部协议处理不够灵活。P4作为openf
2021-12-06 15:48:01
2672
原创 数据标注及未知类别解决方案总结
数据标注及未知类别解决方案总结前言：最近看了一些数据标注和未知分类方案总结一下1、Autonomous Unknown-Application Filtering and Labeling for DL-based Traffic Classifier Update给未知流量打标签的框架，主要解决未知流量分类的问题，提出一个开放世界流量分类的问题。为了从根本上提高网络的测量和管理水平，网络流量分类技术得到了广泛的研究。机器学习是网络流量分类的有效方法之一。具体而言，深度学习(dl)因其在不损害用户隐
2021-12-03 12:15:19
2050
转载 XDP技术——linux网络处理的高速公路
XDP及相关技术简介传统的Linux内核网络协议栈由于更加注重通用性，其网络处理存在着固有的性能瓶颈，随着10G、25G、40G、100G甚至更高速率的网卡出现，这种性能瓶颈变得更加突出，传统内核网络协议栈已经难以满足高性能网络处理的要求。在人们想办法提升处理性能的同时，一批人抱着它不行就绕开它的思路，在2010年，开发出了DPDK内核旁路(Kernel Bypass)技术，并逐渐成为网络处理加速的一种成熟方案。然而这种方案也有自己的一些固有缺陷，且始终是独立于linux内核的，在2016年的Linux
2021-12-02 16:01:06
7024
1
原创 one-hot
one-hot数据预处理的tricks1、标签one-hot转化对特征进行硬编码不仅可以使用pandas的 factorize函数将文本特征进行编号，也可以使用sklearn 的LabelEncoder函数，两者的效果几乎是一样的。编码为0~n-1(n为种类数)from sklearn.preprocessing import LabelEncoderdata = pd.read_csv(pathUtils.train_path,engine='python')# 必须先fit，然后transfo
2021-11-25 11:11:59
635
原创 np.argmax()
numpy.argmax(array, axis) 用于返回一个numpy数组中最大值的索引值。当一组中同时出现几个最大值时，返回第一个最大值的索引值。针对softmax的输出是Ndarray，需要对one-hot类型输出标签进行转换，这个函数直接搞定。在运算时，相当于剥掉一层中括号，返回一个数组，分为一维和多维。一维数组剥掉一层中括号之后就成了一个索引值，是一个数，而n维数组剥掉一层中括号后，会返回一个 n-1 维数组，而剥掉哪一层中括号，取决于axis的取值。一维数组的用法one_dim_arr
2021-11-25 10:15:32
996
原创 DNS隧道英文综述（总结特征和方法）
原文标题：A comprehensive survey on DNS tunnel detection原文作者：Yue Wang, Anmin Zhou, Shan Liao, Rongfeng Zheng, Rong Hu, Lei Zhang原文地址：https://linkinghub.elsevier.com/retrieve/pii/S1389128621003248发表会议：Computer Networks，9 October 20211.简介域名系统（DNS）隧道建立在受控主机和主
2021-11-17 10:32:47
452
原创 sklearn and keras 文本向量化
总结一下文本向量化文本分析是机器学习算法的一个主要应用领域。然而，原始数据的这些符号序列不能直接提供给算法进行训练，因为大多数算法期望的是固定大小的数字特征向量，而不是可变长度的原始文本。为了解决这个问题，scikit-learn提供了从文本内容中提取数字特征的常见方法，即：tokenizing: 标记字符串并为每个可能的token提供整数id，例如使用空白和标点作为token分隔符；(分词标记)counting: 统计每个文档中出现的token次数；(统计词频)normalizing: 通过减
2021-11-10 20:34:12
2250
原创 Ubuntu时区问题
永久更改Ubuntu的时区Ubuntu 或一些使用 systemd 的其它发行版可以在 Linux 终端中使用 timedatectl 命令来设置时区。你可以使用没有任何参数的 timedatectl 命令来检查当前是日期和时区设置：为在 Linux 中设置时区，你需要知道准确的时区。你必需使用时区的正确的格式 (时区格式是洲/城市)。为获取时区列表，使用 timedatectl 命令的 list-timezones 参数:timedatectl list-timezonestimedatect
2021-09-23 21:46:05
169
原创 python super函数
python面向对象编程重写普通方法和特殊的构造函数类继承和普通方法重写类似，但是遇到重写构造函数的时候，必须调用超类的构造函数，否则可能无法正确初始化对象：class Bird: def __init__(self): self.hungry = True def eat(self): if self.hungry； print("Aaaah ...") self.hungry = False else: print("No thanks") class S
2021-09-23 18:47:06
549
转载 Flask ：AttributeError: ‘Token‘ object has no attribute ‘test‘错误解决方法
错误现象在使用render_template渲染页面时，抛出AttributeError: ‘Token’ object has no attribute 'test’异常。程序环境为：Python3.6.0Flask 1.1.0Jinja2 3.0.1错误原因Python3.6.0与Jinja2 3.0.1不兼容解决方法升级Python解释器，使用3.6.0以上版本。降级Jinja2 ，使用3.0.1以下版本。总结：尽量避免python3.6开发，比较多的不兼容，建议python3.
2021-09-13 17:02:15
1452
2
原创 PyYAMl文件读取
yaml 文件读取（5.1版本前后）yaml.load(input)弃用了，随后发现，5.1之后的需要加一个加载器才可以正常运行，针对该变化，作了以下比较yaml 5.1之前的使用方法： def operateYaml(self,filename): file = open(filename, "r",encoding='utf-8') data = yaml.load(file) file.close() return data
2021-09-13 10:00:09
288
原创 Linux中“Argument list too long”解决方法
当我想执行以下命令时，报错：mv train/* new_train/-bash: /bin/mv: Argument list too long这是因为这些命令的参数太长，即文件个数过多。其中 train 文件夹的内容全是 .pcap 格式的图片文件 解决的方法如下：find train/ -name "*.pcap" | xargs -i mv {} new_train/同理使用 cp, ls 等命令也可以以同样的方式执行：find train/ -name "*.pcap" | xar
2021-08-26 14:33:29
664
原创 应用商店爬虫（debug记录）
app-queue1、mysqlnavicat直接加载sql文件不行，使用docker版mysql查看镜像docker images运行容器# -v设置挂在的目录，如果没挂在看一下默认挂在目录，然后复制到默认挂载目录 # “-e MYSQL_ROOT_HOST=%” 这个选项就是用来设置允许远程访问的。docker run --name='sky-mysql' -e 'MYSQL_ROOT_PASSWORD=123456' -e MYSQL_ROOT_HOST=% -p 3306:330
2021-08-25 15:24:42
2327
原创 解决VS Code使用code runner开发Python乱码问题
解决VS Code使用code runner开发Python乱码问题1、是否cmd中python环境变量能够正常使用，不能正常使用有两种情况：看看Path环境变量是否微软重定向到了微软商店没有配置python.exe的环境变量没有配置python的启动路径导致code runner找不到启动路径，并且报错也是乱码很难看懂。2、配置code runner打开配置executorMap的json，还要解决python中文乱码问题，也有两种：在executorMap json文件中设置："
2021-08-25 15:23:43
476
原创 流量处理及分析工具
流量处理及分析工具1、pkt2flow：A simple utility to classify packets into flows.地址：https://github.com/caesar0301/pkt2flow优点：使用C写的分流工具，速度很快，但是仅限于split flow，可以使用多线程提高效率缺点：当文件格式或其他问题出现未报错，不易发现错误。使用方式：Usage: ./pkt2flow [-huvx] [-o outdir] pcapfile Options: -h pr
2021-07-19 16:03:55
2919
转载 tldextract模块使用
tldextract模块使用tldextract是一个第三方模块,意思就是Top Level Domain extract，即顶级域名提取使用时 需要安装,命令如下pip install tldextractURL的结构，news.baidu.com 里面的news.baidu.com叫做host，它是注册域名baidu.com的子域名，而com就是顶级域名TLD。返回结构包含三部分：subdomain, domain, suffiximport tldextracttld = tldext
2021-06-15 09:17:13
596
原创 HTTPS\TLS协议过程的详细补充
HTTPS\TLS协议过程的详细补充目录HTTPS\TLS协议过程的详细补充1、TCP三次握手准备阶段：第一次握手：第二次握手：第三次握手：总结2、TLS/SSL 握手阶段一Client Hello阶段二Server Hello阶段三Certificate阶段四Server Key Exchange阶段五Server Hello Done阶段六Client Key Exchange阶段七3、TLS/SSL数据传输Application DataEncryted Alert4、四次挥手第一次挥手：第二次挥手
2021-05-08 15:48:16
2122
原创 网络领域前沿
网络领域前沿一、基于“意图”的网络（intent based network）IBN参考：https://www.sohu.com/a/229800238_258957、https://www.cisco.com/c/dam/global/zh_cn/solutions/pdf/nb-09-intent-networking-wp-cte-en.pdf?oid=wpren008371思科主导的概念 The Network. Intuitive兴起的原因：第一、大家平常只关注业务和应用，对于底层网络
2021-05-07 11:07:51
561
2
原创 Comparing the Effects of DNS, DoT, and DoH
一、Comparing the Effects of DNS, DoT, and DoH on Web Performance贡献有三点：1、在全球五个地点进行研究DO53\DOT\DOH的性能，包括页面加载时间、查询响应时间2、加密的DNS协议使得页面加载时间缩短，但是查询响应时间慢于DO53，在受损的网络环境中加载时间较短归功于TCP的重传机制3、提出两种优化机制 WireFormat 缓存和 opportunistic partial responses。网络性能进行了分析，分析了各自的成本
2021-05-04 17:04:46
700
原创 Linux-Ubuntu使用记录（1）
Linux-Ubuntu使用记录（1）1、linux环境变量设置1）/etc/profile此文件为系统的每个用户设置环境信息,当用户第一次登录时,该文件被执行.并从/etc/profile.d目录的配置文件中搜集shell的设置.所以如果你有对/etc/profile有修改的话必须得重新登录你的修改才会生效，此修改对每个用户都生效。2）/etc/bashrc为每一个运行bash shell的用户执行此文件.当bash shell被打开时,该文件被读取,每次用户打开一个终端时，即执行此文件如果
2021-04-12 20:36:17
89
转载 DNS隧道特征
传统基于UDP DNS Tunnel特征1、DNS攻击建模密集请求型：例如随机子域名DDoS、反射型DDoS。其特征为QPS高、时序特征强，一般能够可视化观察到波峰。漏洞攻击型：例如针对DNS server的已知漏洞攻击。其特征为数量少、受DNS type影响，适合分类统计。如果批量PoC的话，则特征同1。数据传输型：例如DNS Tunnel、Malware DGA、PoC中的DNS回显、SSRF重绑定等。其特征在于域名文本特征明显、适用于规则匹配。将DNS日志的Request和Respons
2021-04-01 20:31:31
750
原创 Linux cooked capture v1 层的处理
Linux cooked capture v1 层的处理1、问题由来：在Mal_DoH的数据集中发现一部分数据不能够经由pkt2flow 处理成流级数据文件，经由wireshark查看，遇到一层未知数据，导致pkt2flow程序运行出错，但是未提示报错就很离谱，这个工具还不是很完善，需要下一步改善。2、问题分析为何链路层名称为linux cooked capture？而不是Ethernet Ⅱ因为包是在linux中使用tcpdump，且指定参数-i any来捕获设备上所有网卡上的包。它会把所有包
2021-03-31 21:18:19
4186
1
原创 使用Winrm实现Linux环境下使用python执行远程命令
WinrmWinRM（Windows Remote Management）windows远程管理，这个是基于[powershell](https://baike.baidu.com/item/Windows PowerShell ISE)的功能，一个形象的类比就是ssh之于linux。winrm可以远程连接windows并执行cmd命令(使用python语言)WinRM端口是5985和5986（HTTPS）1、开启服务端winrm的服务在window服务器上，要打开winrm服务。下面是操作流程：
2021-03-28 12:05:33
1201
4
原创 VSCode Debug调试文件设置
vscode Debug调试文件设置新建编写launch.json文件{ // 使用 IntelliSense 了解相关属性。 // 悬停以查看现有属性的描述。 // 欲了解更多信息，请访问: https://go.microsoft.com/fwlink/?linkid=830387 "version": "0.2.0", "configurations": [ { "name": "Python: kitmodel",
2021-03-18 10:14:36
1331
原创 VSCOED连接不上远程服务器
记录VSCOED连接不上远程服务器连接远程服务器ssh root@192.168.239.26 -A远程服务器上会有一个文件 .vscode-server查看此文件ls -a如果连接不上删除文件rm -rf .vscode-server 再进行连接或者客户端也删除相应的ssh配置...
2021-03-18 08:44:26
187
转载 Pcap文件详解
Pcap文件详解一、简介pcap文件是常用的数据报存储格式，可以理解为就是一种文件格式，只不过里面的数据是按照特定格式存储的，所以我们想要解析里面的数据，也必须按照一定的格式。普通的记事本打开pcap文件显示的是乱码，用安装了HEX-Editor插件的Notepad++打开，能够以16进制数据的格式显示，或者使用sublime打开以十六进制的格式显示。用wireshark这种抓包工具就可以正常打开这种文件，愉快地查看里面的网络数据报了，同时wireshark也可以生成这种格式的文件。还有一些其他网络
2021-03-17 14:29:41
16145
1
转载 HTTPS协议详解
HTTPS协议详解HTTPS 的实现原理HTTPS 协议相关的概念有 SSL 、非对称加密、 CA证书等，但对于以下灵魂三拷问可能就答不上了：为什么用了 HTTPS 就是安全的？HTTPS 的底层原理如何实现？用了 HTTPS 就一定安全吗？大家可能都听说过 HTTPS 协议之所以是安全的是因为 HTTPS 协议会对传输的数据进行加密，而加密过程是使用了非对称加密实现。但其实，HTTPS 在内容传输的加密上使用的是对称加密，非对称加密只作用在证书验证阶段。HTTPS的整体过程分为证书验证和
2021-03-17 14:25:52
149
原创 TLS/SSL详解课堂笔记
TLS\SSL详解TLS协议是IETF将SSL协议的进一步标准化 , 采纳为国际标准基本上，SSL 3.0等于TLS 1.0SSL、TLS基于PKI技术的、提供机密性、鉴别、完整性的具体解决方案安全通道是透明的，独立于应用层；传输层采用TCP，提供可靠业务作为一个中间层，应用程序只要采用SSL提供的一套SSL套接字API来替换标准的Socket套接字，就可以把程序转换为SSL化的安全网络程序，在传输过程中将由SSL协议实现数据机密性和完整性的保证,如HTTP+SSL---->HTTPSSSL
2021-03-17 14:23:57
473
原创 评估NIDS模型的对抗性和鲁棒性
Evaluating and Improving Adversarial Robustness of Machine Learning-Based Network Intrusion Detectors摘要简介：现有的攻击主要集中在特征空间和/或白盒攻击上，这些攻击在现实情况下不切实际地进行假设，无法在实践中充分证明系统健壮性的上限。作者的工作在以下几个方面优于以前的工作：(i) practical-所提议的攻击可以在保持功能正常的前提下，以极其有限的知识和负担得起的开销自动改变原始流量。(ii)
2021-03-16 14:42:08
1494
原创 基于DRL的针对NIDS流级别对抗样本制作方法和对抗训练
Deep Reinforcement Adversarial Learning Against Botnet Evasion Attacks摘要简介：在针对基于ML的网络入侵检测系统（NIDS）的对抗逃避攻击的情况下，我们提出了一种新颖的方法，该方法利用深度强化学习（DRL）来提高依赖于网络流分析的检测器的健壮性。我们的建议允许自动生成现实的对抗性样本，以保留其潜在的恶意逻辑并可以以很高的概率规避检测。通过基于自动生成的样本的对抗训练程序，对检测器进行加固。据我们所知，本文代表了第一个提议，该提议利用深
2021-03-14 17:47:14
598
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人