![](https://img-blog.csdnimg.cn/direct/d97c492f9690483f8dd72c37195a5281.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习
文章平均质量分 91
深入探索深度学习的基础理论与前沿技术,覆盖神经网络、卷积神经网络、循环神经网络等核心概念。通过实际案例和项目,逐步掌握模型构建与优化的方法,提升在图像识别、自然语言处理等领域的应用能力。
优惠券已抵扣
余额抵扣
还需支付
¥9.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
Iareges
这个作者很懒,什么都没留下…
展开
-
信息与熵,你想知道的都在这里了
信息论(Information Theory)原创 2022-07-03 18:34:15 · 652 阅读 · 16 评论 -
浅谈sklearn中的数据预处理
sklearn中的数据预处理原创 2022-06-12 16:28:50 · 561 阅读 · 19 评论 -
深入理解P-R曲线、ROC与AUC
目录一、均方误差、精度与错误率二、查准率、查全率与F1F1F12.1 查准率(Precision)与查全率(Recall)2.2 混淆矩阵的可视化2.3 P-R曲线与BEP2.4 F1F1F1 与 FβF_{\beta}Fβ三、ROC与AUC3.1 ROC(Receiver Operating Characteristic)3.2 AUC(Area Under roc Curve)一、均方误差、精度与错误率对模型的泛化性能进行评估,我们需要有衡量模型泛化能力的评价标准,这就是性能度量(Performa原创 2022-05-30 09:59:20 · 2214 阅读 · 48 评论 -
浮点数的存储方式、bf16和fp16的区别
目录1. 小数的二进制转换2. 浮点数的二进制转换3. 浮点数的存储3.1 以fp32为例3.2 规约形式与非规约形式4. 各种类型的浮点数5. BF16和FP16的区别Ref1. 小数的二进制转换十进制小数转换成二进制小数采用「乘2取整,顺序排列」法。具体做法是:用 222 乘十进制小数,可以得到积,将积的整数部分取出,再用 222 乘余下的小数部分,又得到一个积,再将积的整数部分取出,如此进行,直到积中的小数部分为零,或者达到所要求的精度为止。然后把取出的整数部分按顺序排列起来,先取的整数作为二进原创 2024-04-17 18:11:21 · 1130 阅读 · 2 评论 -
深度学习常见模型大小汇总(持续更新...)
本篇博客将记录深度学习领域常见模型的大小,具体算法如下模型可能来自于PyTorch官方,HuggingFace等。如有错误或者建议欢迎在评论区指出。第三方库版本4.30.2PyTorch2.0.1。原创 2023-07-09 21:42:16 · 1462 阅读 · 0 评论 -
浅谈Label Smoothing技术
简要介绍标签平滑技术原创 2022-07-04 11:55:02 · 454 阅读 · 10 评论 -
还在用torch.save()?快来看看safetensors吧!
Safetensors 是一个由 HuggingFace 开发的库(采用 Rust 编写),用于安全地存储和加载张量(tensors)。与其他序列化格式(如 pickle)相比,Safetensors 提供了更快的加载速度和更高的安全性。这个库特别适用于深度学习模型的序列化,尤其是在需要高效加载大型模型权重时。原创 2024-03-11 23:12:09 · 732 阅读 · 0 评论 -
tensorboard与torchinfo的使用
输入占用19.27MB的内存,进行一次前向/反向传播占用1271.92MB的内存(因为要保存中间变量),所以在训练resnet18的过程中将总共占用1337.94MB的内存。由于远程服务器上通常是没有浏览器的,因此我们需要进行相应的配置才可以在本地的浏览器访问远程服务器上的tensorboard服务。,则执行命令后会直接连接到远程服务器,当断开与远程服务器的连接后,SSH隧道也会随之关闭。可以看到,transformer的大小为44M,训练时将占用12GB的内存。的时候,通常需要指定log的存放路径。原创 2023-07-09 15:34:37 · 424 阅读 · 0 评论 -
PyTorch在对矩阵沿列方向求平均值时如何忽略掉padding的影响?
PyTorch在对矩阵沿列方向求平均值时如何忽略掉padding的影响?原创 2022-11-25 23:51:18 · 596 阅读 · 1 评论 -
PyTorch中的动态学习率
动态学习率原创 2022-09-12 11:09:35 · 2100 阅读 · 0 评论 -
PyTorch随机生成一个布尔型张量
随机生成一个布尔型张量原创 2022-08-26 15:01:29 · 2373 阅读 · 1 评论 -
各种注意力机制的PyTorch实现
先前我们实现的注意力评分函数为了简便起见没有引入掩码机制,一般而言我们会在注意力机制中加入mask和dropout,对于前者,具体会用到。维向量(已做了词嵌入), 该序列的自注意力将输出一个长度相同的序列。是注意力评分函数,然后将其扔到softmax里得到。,不能直接相加,所以需要先将其形状分别扩展为。,这说明自注意力的权重矩阵的形状是正方形。为例,其形状变化过程为(这里是批量计算),此时多头注意力就简化成了单头注意力。的张量,这就是多头注意力的最终输出结果。,然后再进行广播相加,得到形状为。.......原创 2022-08-21 13:25:19 · 4694 阅读 · 0 评论 -
一文搞懂PyTorch中的TensorDataset
TensorDataset类介绍原创 2022-07-08 09:12:21 · 12690 阅读 · 3 评论 -
深入浅出PyTorch中的nn.CrossEntropyLoss
PyTorch中的交叉熵详解原创 2022-07-04 22:24:39 · 1817 阅读 · 23 评论 -
PyTorch中repeat、tile与repeat_interleave的区别
PyTorch中repeat、tile与repeat_interleave的区别原创 2022-07-01 13:12:21 · 1866 阅读 · 12 评论 -
深入理解PyTorch中的nn.Embedding
深入理解nn.Embedding模块原创 2022-06-27 13:07:20 · 10106 阅读 · 20 评论 -
PyTorch学习笔记(六)——Sequential类、参数管理与GPU
目录一、torch.nn.Sequential一、torch.nn.SequentialSequential 本质是一个模块(即 Module),根据Pytorch中的约定,模块中可以继续添加模块。这意味着我们可以在 Sequential 中添加其它的模块(当然也可以添加其他的 Sequential)。添加完成后,Sequential 会将这些模块组成一个流水线,输入将依次通过这些模块得到一个输出,如下图所示:...原创 2022-05-10 16:10:25 · 4551 阅读 · 10 评论 -
PyTorch学习笔记(三)——Dataset和DataLoader
目录一、一级目录1.1 二级目录1.1.1 三级目录一、一级目录1.1 二级目录1.1.1 三级目录原创 2022-05-05 15:09:17 · 3308 阅读 · 8 评论 -
PyTorch学习笔记(二)——自动微分
目录一、一级目录1.1 二级目录1.1.1 三级目录一、一级目录1.1 二级目录1.1.1 三级目录原创 2022-05-03 22:54:10 · 1048 阅读 · 7 评论 -
PyTorch学习笔记(一)——Tensor的基础语法
目录一、张量的创建1.1 直接从数据中创建一、张量的创建1.1 直接从数据中创建data = [1, 2, 3]torch.tensor(data)# tensor([1, 2, 3])原创 2022-05-03 16:27:58 · 1032 阅读 · 13 评论 -
PyTorch学习笔记(五)——多层感知机的实现
目录一、torchvision简介一、FashionMNIST数据集一、torchvision简介有不少基于 Pytorch 的工具箱都非常实用,例如处理自然语言的 torchtext,处理音频的 torchaudio 以及处理图像视频的 torchvision。torchvision 主要包含了一些流行的数据集,模型架构和常用的图像转换功能等。本节将聚焦于数据集的使用以及相关的图像转换功能。一、FashionMNIST数据集...原创 2022-05-08 18:03:29 · 1460 阅读 · 18 评论 -
PyTorch学习笔记(四)——torchvision工具箱
目录一、torchvision简介二、torchvision.transforms2.1 `Image` 、`Tensor` 与 `ndarray` 之间的相互转化2.1.1 ToTensor()2.1.2 PILToTensor()2.1.3 ToPILImage()2.2 常见的图像操作2.2.1 TF.adjust_brightness()2.2.2 TF.adjust_contrast()2.2.3 TF.adjust_saturation()2.2.4 TF.adjust_sharpness()2原创 2022-05-07 15:11:15 · 847 阅读 · 15 评论 -
Pillow速通教程
目录一、安装二、使用2.1 初识Image类2.1.1 Image.open()2.1.2 Image对象的各个属性2.1.3 Image.new()一、安装pip install pillow二、使用2.1 初识Image类Pillow 中最重要的就是 Image 类了,导入方法如下:from PIL import Image2.1.1 Image.open()假设当前工作目录下有一个 pics 文件夹,其中存放着 1.png 图片,若要打开它,只需img = Image.open(原创 2022-05-06 22:52:24 · 874 阅读 · 16 评论 -
NetworkX的基本用法
NetworkX原创 2022-07-20 21:36:55 · 2167 阅读 · 3 评论 -
浅谈Node Embedding
Node Embedding原创 2022-07-24 11:52:32 · 533 阅读 · 0 评论 -
邻接矩阵的COO格式
我们知道,邻接矩阵通常是稀疏矩阵,而COO格式(CoordinateFormat)是稀疏矩阵的一种存储方式,本文将简要介绍如何将无权无向图的邻接矩阵转化为COO格式。顾名思义,COO格式即坐标格式,我们只需考虑邻接矩阵中不为零的元素的坐标。对于无权无向图,其邻接矩阵是对称阵并且元素非。先考虑下三角部分,不为零的元素的坐标为。,因此所有不为零的元素的坐标为。............原创 2022-07-26 11:56:21 · 1124 阅读 · 0 评论