a533855的博客

原创 加密流量分类与检测

在网络安全中是两个密切相关但又有所区别的任务。它们都处理加密流量，但目标和方法有所不同。：无论是加密流量检测还是分类，传统的DPI技术由于加密的存在，无法直接查看加密流量的内容。：加密流量的普遍使用为恶意流量的隐藏提供了一个有力的工具。因此，检测和分类任务都需要能够有效识别。则侧重于识别加密流量的协议类型或应用类型。两者相辅相成，但目标和方法有所不同。（如源和目标IP地址、端口号、包大小、流量时序等）来进行分析。侧重于从加密流量中识别出潜在的恶意行为或攻击，而。，如僵尸网络、数据泄露、恶意软件下载等。

原创 github实用技巧

【代码】github实用技巧。

原创 DeepSpeed、vLLM 和 torchrun

DeepSpeedvLLM和torchrun都是与和相关的工具或框架，但它们关注的领域和功能有所不同。

原创 Transformer的推理过程中的kqv

原创 llama大模型中，为什么推理部分使用kv cache，而训练部分不使用kv cache

在 LLaMA 等大语言模型中，推理和训练过程在使用上存在差异的主要原因可以归结为计算效率和内存使用的不同需求。

原创 常见的损失函数

原创 词向量（Word2Vec与nn.Embedding）

在自然语言处理（NLP）中，Word2Vec和nn.Embedding（如PyTorch中的实现）都用于生成词嵌入向量，但它们的主要区别在于它们的训练方式和使用场景。

原创 NLP基础技术

在NLP（自然语言处理）基础部分，我们将详细介绍以下几个关键技术：文本预处理、文本表示、经典NLP任务。

原创 文本预处理

动手深度学习。

原创 Linux实用操作

各类小技巧快捷键软件安装systemctl控制软件启动关闭软链接日期和时区IP地址和主机名网络请求和下载端口进程管理主机状态监控环境变量Linux文件的上传和下载压缩和解压

原创 Linux用户和权限

Linux的root用户用户和用户组查看权限控制信息

原创 Linux基础命令（指令版）

在命令行中，以平铺的形式，展示当前工作目录（默认HOME目录）下的内容（文件或文件夹）

原创 Anaconda prompt常用指令(待完善)

【代码】Anaconda prompt常用指令(待完善)

原创 Linux重要知识点

Linux大多数操作都是通过命令行进行的。熟悉常用命令和脚本是使用Linux的基础。管理Linux系统包括监控系统资源、管理用户账户、配置服务等。了解不同类型的文件系统，学习如何格式化、挂载、备份和恢复数据。配置和管理网络是Linux系统管理员的一项重要任务。Linux使用包管理器来安装、更新和管理软件包。Shell脚本是自动化日常任务的强大工具。保持系统的安全是非常关键的。

原创 Linux下深度学习训练的学习路线

熟练使用Python进行编程，因为Python是进行深度学习最常用的语言之一。在Linux环境下配置深度学习所需的硬件和软件。应用所学知识在具体项目中解决问题。持续更新深度学习领域的知识和技能。掌握Linux基本命令和操作。理解深度学习的原理和基本模型。

原创 高效阅读深度学习论文

笔记：记录重要内容、自己的理解和思考。总结：总结论文的核心思想、创新点和应用价值。

原创 深度学习模型训练之日志记录

如果使用Keras或PyTorch，可以编写自定义回调函数，记录训练过程中的信息。Keras自定义回调# 使用自定义回调PyTorch自定义回调# 模型训练代码。

原创 Python类中常见的内置函数

_len__在 Python 中，类可以通过实现一些特殊方法（也称为魔术方法或双下划线方法）来重载内置操作符和函数。这些方法以双下划线开头和结尾，例如__len__等。它们使得类的实例能够像内置类型那样使用。__len__方法定义了当使用len()函数时应返回的值。

原创 Linux基础操作命令（简略版）

Linux系统的基本思：一切都是文件，每个文件都有确定的用途。系统中的所有都归结为一个文件，包括命令、硬件和软件设备、操作系统、进程等等对于操作系统内核而言，都被视为拥有各自特性或类型的文件。至于说Linux是基于Unix的，很大程度上也是因为这两者的基本思想十分相近。

原创 Anaconda中进行虚拟环境克隆clone

在Anaconda中克隆虚拟环境，可以分为在同一机器上克隆和跨机器克隆两种情况。

原创 nn.Sequential 和 nn.ModuleList

模块按顺序执行，适用于顺序的简单模型。只是一个持有模块的列表，您需要手动定义前向传播的顺序，适用于需要更复杂控制的模型。

原创 算法研发流程

作为一名算法工程师，进行算法研究需要遵循系统的方法和步骤。

原创 文生图模型（text2img）

Text-to-image（文生图）模型是一种先进的人工智能技术，能够将描述性文本转换成相应的图像。这种模型的核心功能是解读用户输入的自然语言描述，并基于这些描述生成视觉内容。这类模型的实现通常依赖于深度学习框架，特别是生成对抗网络（GANs）或变分自编码器（VAEs）。在模型训练过程中，需要大量的文本-图像对作为数据源。通过这些数据，模型学习如何将文本信息映射到图像特征上，理解和把握不同文本描述对应的视觉元素和风格。例如，给定描述“一个坐在山顶上的红色帐篷”，模型将生成展示该场景的图像。

原创 损失函数和评价指标

在深度学习和机器学习中，损失函数和评价指标是两个密切相关但具有明显不同目的的概念。了解它们的区别对于设计和训练模型非常重要。

原创 Stable diffusion xl的微调优化方式：Lora 、ControlNet 、Hypernetwork 、Textual Inversion 、Dreambooth

在 Stable Diffusion XL（SDXL）系列中，几种先进的微调和优化技术被集成以提高模型的精确性和多样性。

原创 生成模型GAN

生成对抗网络（GAN，Generative Adversarial Network）是一种由两部分组成的深度学习模型：生成器（Generator）和判别器（Discriminator）。这两个部分在训练过程中相互对抗，从而提高生成的数据质量。这种模型最初是由Ian Goodfellow在2014年提出的。

原创 数字人技术汇总

相关参考数字人主要技术整理https://github.com/YUANZHUO-BNU/metahuman_overview 数字人新闻（金融界）:https://baijiahao.baidu.com/s?id=1799740494820050799&wfr=spider&for=pc

原创 大语言模型技术调研

大语言模型是利用深度学习技术构建的先进的计算模型，主要应用于各类自然语言处理（NLP）任务。这类模型通过在海量文本数据上进行自监督学习，能够捕捉和学习语言的复杂结构和细微的语义关系。大语言模型通常基于变换器（Transformer）架构，该架构采用自注意力机制来处理输入数据中的每个元素，并且能够并行处理，显著提高了处理效率和效果。这些模型在预训练阶段不针对特定任务进行优化，而是学习语言的通用特征，从而在后续的微调阶段能够快速适应各种具体应用，如文本摘要、情感分析、问题回答等。

原创 MuseV and MuseTalk

MuseTalk通过潜在空间修复（Latent Space Inpainting）实现，能够在实时视频中实现高精度的口型与语音同步。

原创 技术调研方案

明确任务目标：定义需要解决的具体问题或优化的技术点。需求收集：与相关利益相关者（如产品经理、客户、研究团队等）会谈，明确技术需求和预期成果。

原创 深度学习cuda和cudnn安装

【深度学习】深度学习框架安装 CUDA+cuDNN+torch_cuda cudnn版本-CSDN博客。深度学习之CUDA+CUDNN详细安装教程 - 知乎 (zhihu.com)pytorch GPU版本安装_cuda高版本兼容低版本吗-CSDN博客。pytorch GPU版本安装_pytorchgpu-CSDN博客。

原创 深度学习训练过程中损失函数值为nan

https://blog.csdn.net/demm868/article/details/104666998/ https://zhuanlan.zhihu.com/p/313102674?utm_id=0 （快速搞懂）Pytorch中的nan和inf有什么区别？_tensor([nan],-CSDN博客 入门| 一文了解神经网络中的梯度爆炸 (baidu.com) 深度学习中nan和inf的解决_nan inf-CSDN博客

原创 datasets.ImageFolder和torch.utils.data.DataLoader

类从文件系统中加载图像数据，并返回图像和对应的标签。DataLoader类处理批量加载和多线程加载数据，以提高数据加载的效率。通过结合和DataLoader，可以高效地加载和处理大型图像数据集，并在深度学习模型训练过程中使用这些数据。

原创 CUDA Toolkit、cuDNN和CUDA Toolkit

CUDA（Compute Unified Device Architecture）是NVIDIA推出的一个并行计算平台和应用编程接口（API）模型，它允许软件开发者和软件工程师使用虚拟指令集和并行计算元素的GPU进行通用计算。简单来说，CUDA让开发者能够通过特定的编程方法提高GPU的计算效率，广泛应用于高性能计算环境。

原创 PyTorch中Transpose和Permute的使用说明

在 PyTorch 中，transpose和 permute是用于调整张量维度的两个非常有用的函数。它们都用于重新排列张量的维度，但它们的用法和目的有所不同。

原创 python编写代码注释建议

在处理Tensor操作时，注释数据的维度和类型非常关键，尤其是在进行矩阵运算或数据重塑的时候。：在每个函数的开始部分，用几句话简要描述函数的功能和它所实现的主要操作。对于较大的模块或类，应提供详细的文档注释，说明模块或类的目的和主要功能。在代码中的关键步骤处加入注释，解释某个操作的原因或其背后的逻辑。：用来标记需要修正的问题，通常是已知的bug或不稳定的代码段。：用来标记那些暂时不处理，但将来需要实现或改进的地方。：描述函数返回值的类型及其代表的内容。：对每个参数的类型、作用进行说明。

原创 stargan-v2(未待完续)

风格迁移。

原创 基于DPDK高性能入侵检测系统的研究与实现

DPDKHyperscanSuricata

原创 模型训练--Train.py（未待完续）

导入算法库与硬件设备路径与参数核验模块参数解析函数主函数

原创 argparse.Namespace、argparse.ArgumentParser、.parse_args()三者之间的关系

、 和 之间的关系是： 创建一个解析器对象，并使用 方法解析命令行参数，将解析结果存储在 对象中。以下是详细的解释： 是一个简单的类，用于存储属性（命令行参数）。 对象可以直接用于存储解析后的命令行参数，或者可以通过 方法自动生成。示例输出argparse.ArgumentParser 是命令行参数解析器的核心类。它负责：定义：定义命令行参数及其属性（名称、类型、帮助信息等）。解析：通过 方法解析命令行参数。核心功能：：添加新的参数：解析命令行参数、、：描述信息示例.pars