Ds的博客

可观测性调研

《迷时师度 悟了自度》 侯捷 1998.04.20 第一次发表於清大.枫挢驿站.电脑书讯 CompBook 版（140.114.87.5）以下是全文内容，颇为深刻：元智大学和清华大学的资讯系同学，最近不约而同邀请我在自校的资讯周上 为同学们做个演讲。对於那些吊尔郎当，连自己也不关心自己的同学，我向来一 点气力都舍不得花；但对於积极上进的同学，我可倒是很喜欢和他们谈话。曾经在不同的学校讲过好些个不同的谈话性题目（非关技术，但都不脱资讯范围），这次有感於在学校任教三年了，颇知道同学们的一些学习情况，所以想和

BCC在ubuntu18.04源码安装由于官网的安装地址有一些问题，不能直接在apt官方库安装，因为有一些名字上的不同，并且有一些tools和文件没有下载下来，不能够完全使用所以推荐使用源码安装，但是一定要下载bcc-src-with-submodule.tar.gz，src-with-submodule不然会有一些报错，不要git clone目前安装bcc有两种方式，一种是直接使用发行版提供的软件包，Ubuntu里叫bpfcc-tools，CentOS7中的是bcc-tools。另一种方式是源码编译

Transformer深入理解（持续更新）编码器：原文是6个编码器堆叠（数字6没有什么神奇之处，你也可以尝试其他数字）解码组件部分也是由相同数量（与编码器对应）的解码器（decoder）组成的。所有的编码器在结构上都是相同的，但它们没有共享参数。每个编、解码器都可以分解成两个子层：自注意力层和前馈神经网络，我们首先将每个输入单词通过词嵌入算法转换为词向量，每个单词都被嵌入为512维的向量将输入序列进行词嵌入之后，每个单词都会流经编码器中的两个子层。接下来我们看看Transformer的一个核心特

FOAP: Fine-Grained Open-World Android App Fingerprinting开放世界的app指纹细粒度识别，其中第一开放世界是指对新类别的app进行识别，第二细粒度指的是对app内部特定UI操作的识别。1、Workflow of FOAP识别方法级别的用户操作从加密流量的开放环境中训练阶段：1、网络流打标签自动或者手动运行app，收集app的流量，也就是日志（采集的截图代码日志等）和pcap文件首先需要确定一条网络流是否来自app，这样就打上应用级别的标签，

自动化美国网络安全 | 安全自动化和IACD框架安全自动化是安全从业者的梦想。安全主要解决两方面问题：时间问题（速度越来越快）和空间问题（规模越来越大）。安全归根结底是要在时间和空间这两个维度上，提高自动化防御的有效性。安全自动化开始，深入到它的理论和实现框架IACD（集自适应网络防御）和ICD（集成网络防御）的细节，最后引出安全度量的问题经过Gartner和业界的宣传，SOAR（安全编排、自动化和响应）作为安全自动化的实现技术，已经广为人知。如果非要说说IACD与SOAR的区别，笔者认为，SOAR

SDN、P4 and ZeroTrust这篇文章描述了在软件定义网络中通过网络可编程技术的发展来实现零信任架构的目标让我们来研究一下实现零信任体系结构的一个关键技术组件的演变——数据中心的可编程、边缘加速、SmartNIC技术。OpenFlow, the first SDN standard安全定义的路由（SDR）的概念。SDR将网络分析和SDN结合起来保护网络。SDR解决方案使用Snort来监视网络流量并生成对日志文件的警报。应用程序监视日志文件并使用OpenFlow以拒绝和镜像可疑流量以进行事务

Eavesdropping on Fine-Grained User Activities Within Smartphone AppsOver Encrypted Network Traffic通过加密的网络流量窃听智能手机应用程序中细粒度的用户活动整个论文立意，以此为主，以分类用户活动算法为主，收集方式为辅助一、摘要高度智能的app是以隐私为代价的，被动的窃听者例如在无线网络上识别细粒度的用户活动通过网络流量。仅通过IP包头和元数据。尽管被广泛加密，即每个应用程序的高度特定（定制）的实现会在

DPU相关调研学习（1）本篇文章的内容多来自互联网上的内容，SDNLAB输出为主。一、从P4到DSA，SDN终于回到硬件定义时代未来发展主要迎来黄金时代：John Hennessy和David Patterson描绘了计算机架构新的黄金时代和领域特定架构的重要性。对于网络工程师而言，无论是核心网关还是边缘计算都需要考虑充分利用网络的可编程性。从可编程交换机、智能网卡到服务器上的网络协议栈，在这个生态系统中，智能网卡占据得天独厚的位置。它既是服务器网络的延伸，也是DCN网络的终结；它既要面对网络的高

P4原论文研读P4: Programming Protocol-Independent Packet Processors这里原文翻译就是：可编程的协议无关的数据包处理器摘要P4是一种用于编程协议无关的包处理器的高级语言。在支持P4语言的地方都能够应用，主要还是交换机（路由器）上的应用。P4工作在SDN的控制平面，就像openflow，openflow有一些缺点，需要针对特定的协议头尽心操作，操作集合字段几年就从12个增加到41个，复杂性增长了并且针对新的头部协议处理不够灵活。P4作为openf

数据标注及未知类别解决方案总结前言：最近看了一些数据标注和未知分类方案总结一下1、Autonomous Unknown-Application Filtering and Labeling for DL-based Traffic Classifier Update给未知流量打标签的框架，主要解决未知流量分类的问题，提出一个开放世界流量分类的问题。为了从根本上提高网络的测量和管理水平，网络流量分类技术得到了广泛的研究。机器学习是网络流量分类的有效方法之一。具体而言，深度学习(dl)因其在不损害用户隐

XDP及相关技术简介传统的Linux内核网络协议栈由于更加注重通用性，其网络处理存在着固有的性能瓶颈，随着10G、25G、40G、100G甚至更高速率的网卡出现，这种性能瓶颈变得更加突出，传统内核网络协议栈已经难以满足高性能网络处理的要求。在人们想办法提升处理性能的同时，一批人抱着它不行就绕开它的思路，在2010年，开发出了DPDK内核旁路(Kernel Bypass)技术，并逐渐成为网络处理加速的一种成熟方案。然而这种方案也有自己的一些固有缺陷，且始终是独立于linux内核的，在2016年的Linux

one-hot数据预处理的tricks1、标签one-hot转化对特征进行硬编码不仅可以使用pandas的 factorize函数将文本特征进行编号，也可以使用sklearn 的LabelEncoder函数，两者的效果几乎是一样的。编码为0~n-1(n为种类数)from sklearn.preprocessing import LabelEncoderdata = pd.read_csv(pathUtils.train_path,engine='python')# 必须先fit，然后transfo

numpy.argmax(array, axis) 用于返回一个numpy数组中最大值的索引值。当一组中同时出现几个最大值时，返回第一个最大值的索引值。针对softmax的输出是Ndarray，需要对one-hot类型输出标签进行转换，这个函数直接搞定。在运算时，相当于剥掉一层中括号，返回一个数组，分为一维和多维。一维数组剥掉一层中括号之后就成了一个索引值，是一个数，而n维数组剥掉一层中括号后，会返回一个 n-1 维数组，而剥掉哪一层中括号，取决于axis的取值。一维数组的用法one_dim_arr

原文标题：A comprehensive survey on DNS tunnel detection原文作者：Yue Wang, Anmin Zhou, Shan Liao, Rongfeng Zheng, Rong Hu, Lei Zhang原文地址：https://linkinghub.elsevier.com/retrieve/pii/S1389128621003248发表会议：Computer Networks，9 October 20211.简介域名系统（DNS）隧道建立在受控主机和主

总结一下文本向量化文本分析是机器学习算法的一个主要应用领域。然而，原始数据的这些符号序列不能直接提供给算法进行训练，因为大多数算法期望的是固定大小的数字特征向量，而不是可变长度的原始文本。为了解决这个问题，scikit-learn提供了从文本内容中提取数字特征的常见方法，即：tokenizing: 标记字符串并为每个可能的token提供整数id，例如使用空白和标点作为token分隔符；(分词标记)counting: 统计每个文档中出现的token次数；(统计词频)normalizing: 通过减

永久更改Ubuntu的时区Ubuntu 或一些使用 systemd 的其它发行版可以在 Linux 终端中使用 timedatectl 命令来设置时区。你可以使用没有任何参数的 timedatectl 命令来检查当前是日期和时区设置：为在 Linux 中设置时区，你需要知道准确的时区。你必需使用时区的正确的格式 (时区格式是洲/城市)。为获取时区列表，使用 timedatectl 命令的 list-timezones 参数:timedatectl list-timezonestimedatect

python面向对象编程重写普通方法和特殊的构造函数类继承和普通方法重写类似，但是遇到重写构造函数的时候，必须调用超类的构造函数，否则可能无法正确初始化对象：class Bird: def __init__(self): self.hungry = True def eat(self): if self.hungry； print("Aaaah ...") self.hungry = False else: print("No thanks") class S

错误现象在使用render_template渲染页面时，抛出AttributeError: ‘Token’ object has no attribute 'test’异常。程序环境为：Python3.6.0Flask 1.1.0Jinja2 3.0.1错误原因Python3.6.0与Jinja2 3.0.1不兼容解决方法升级Python解释器，使用3.6.0以上版本。降级Jinja2 ，使用3.0.1以下版本。总结：尽量避免python3.6开发，比较多的不兼容，建议python3.

yaml 文件读取（5.1版本前后）yaml.load(input)弃用了，随后发现，5.1之后的需要加一个加载器才可以正常运行，针对该变化，作了以下比较yaml 5.1之前的使用方法： def operateYaml(self,filename): file = open(filename, "r",encoding='utf-8') data = yaml.load(file) file.close() return data