⚡

信息论（Information Theory）

sklearn中的数据预处理

目录一、均方误差、精度与错误率二、查准率、查全率与F1F1F12.1 查准率（Precision）与查全率（Recall）2.2 混淆矩阵的可视化2.3 P-R曲线与BEP2.4 F1F1F1 与 FβF_{\beta}Fβ​三、ROC与AUC3.1 ROC（Receiver Operating Characteristic）3.2 AUC（Area Under roc Curve）一、均方误差、精度与错误率对模型的泛化性能进行评估，我们需要有衡量模型泛化能力的评价标准，这就是性能度量（Performa

目录1. 小数的二进制转换2. 浮点数的二进制转换3. 浮点数的存储3.1 以fp32为例3.2 规约形式与非规约形式4. 各种类型的浮点数5. BF16和FP16的区别Ref1. 小数的二进制转换十进制小数转换成二进制小数采用「乘2取整，顺序排列」法。具体做法是：用 222 乘十进制小数，可以得到积，将积的整数部分取出，再用 222 乘余下的小数部分，又得到一个积，再将积的整数部分取出，如此进行，直到积中的小数部分为零，或者达到所要求的精度为止。然后把取出的整数部分按顺序排列起来，先取的整数作为二进

本篇博客将记录深度学习领域常见模型的大小，具体算法如下模型可能来自于PyTorch官方，HuggingFace等。如有错误或者建议欢迎在评论区指出。第三方库版本4.30.2PyTorch2.0.1。

简要介绍标签平滑技术

Safetensors 是一个由 HuggingFace 开发的库（采用 Rust 编写），用于安全地存储和加载张量（tensors）。与其他序列化格式（如 pickle）相比，Safetensors 提供了更快的加载速度和更高的安全性。这个库特别适用于深度学习模型的序列化，尤其是在需要高效加载大型模型权重时。

输入占用19.27MB的内存，进行一次前向/反向传播占用1271.92MB的内存（因为要保存中间变量），所以在训练resnet18的过程中将总共占用1337.94MB的内存。由于远程服务器上通常是没有浏览器的，因此我们需要进行相应的配置才可以在本地的浏览器访问远程服务器上的tensorboard服务。，则执行命令后会直接连接到远程服务器，当断开与远程服务器的连接后，SSH隧道也会随之关闭。可以看到，transformer的大小为44M，训练时将占用12GB的内存。的时候，通常需要指定log的存放路径。

PyTorch在对矩阵沿列方向求平均值时如何忽略掉padding的影响？

动态学习率

随机生成一个布尔型张量

先前我们实现的注意力评分函数为了简便起见没有引入掩码机制，一般而言我们会在注意力机制中加入mask和dropout，对于前者，具体会用到。维向量（已做了词嵌入）， 该序列的自注意力将输出一个长度相同的序列。是注意力评分函数，然后将其扔到softmax里得到。，不能直接相加，所以需要先将其形状分别扩展为。，这说明自注意力的权重矩阵的形状是正方形。为例，其形状变化过程为（这里是批量计算），此时多头注意力就简化成了单头注意力。的张量，这就是多头注意力的最终输出结果。，然后再进行广播相加，得到形状为。.......

TensorDataset类介绍

PyTorch中的交叉熵详解

PyTorch中repeat、tile与repeat_interleave的区别

深入理解nn.Embedding模块

目录一、torch.nn.Sequential一、torch.nn.SequentialSequential 本质是一个模块（即 Module），根据Pytorch中的约定，模块中可以继续添加模块。这意味着我们可以在 Sequential 中添加其它的模块（当然也可以添加其他的 Sequential）。添加完成后，Sequential 会将这些模块组成一个流水线，输入将依次通过这些模块得到一个输出，如下图所示：...

目录一、一级目录1.1 二级目录1.1.1 三级目录一、一级目录1.1 二级目录1.1.1 三级目录

目录一、一级目录1.1 二级目录1.1.1 三级目录一、一级目录1.1 二级目录1.1.1 三级目录

目录一、张量的创建1.1 直接从数据中创建一、张量的创建1.1 直接从数据中创建data = [1, 2, 3]torch.tensor(data)# tensor([1, 2, 3])

目录一、torchvision简介一、FashionMNIST数据集一、torchvision简介有不少基于 Pytorch 的工具箱都非常实用，例如处理自然语言的 torchtext，处理音频的 torchaudio 以及处理图像视频的 torchvision。torchvision 主要包含了一些流行的数据集，模型架构和常用的图像转换功能等。本节将聚焦于数据集的使用以及相关的图像转换功能。一、FashionMNIST数据集...

目录一、torchvision简介二、torchvision.transforms2.1 `Image` 、`Tensor` 与 `ndarray` 之间的相互转化2.1.1 ToTensor()2.1.2 PILToTensor()2.1.3 ToPILImage()2.2 常见的图像操作2.2.1 TF.adjust_brightness()2.2.2 TF.adjust_contrast()2.2.3 TF.adjust_saturation()2.2.4 TF.adjust_sharpness()2

目录一、安装二、使用2.1 初识Image类2.1.1 Image.open()2.1.2 Image对象的各个属性2.1.3 Image.new()一、安装pip install pillow二、使用2.1 初识Image类Pillow 中最重要的就是 Image 类了，导入方法如下：from PIL import Image2.1.1 Image.open()假设当前工作目录下有一个 pics 文件夹，其中存放着 1.png 图片，若要打开它，只需img = Image.open(

NetworkX

Node Embedding

我们知道，邻接矩阵通常是稀疏矩阵，而COO格式（CoordinateFormat）是稀疏矩阵的一种存储方式，本文将简要介绍如何将无权无向图的邻接矩阵转化为COO格式。顾名思义，COO格式即坐标格式，我们只需考虑邻接矩阵中不为零的元素的坐标。对于无权无向图，其邻接矩阵是对称阵并且元素非。先考虑下三角部分，不为零的元素的坐标为。，因此所有不为零的元素的坐标为。............