PyTorch深度学习
关注
分享
扫一扫
文章平均质量分 97
深度学习 (DL, Deep Learning) 特指基于深层神经网络模型和方法的机器学习。它是在统计机器学习、人工神经网络等算法模型基础上，结合当代大数据和大算力的发展而发展出来的。本专栏讲解基于PyTorch的深度学习算法，参考《动手学深度学习PyTorch版》。
Francek Chen
征途漫漫，惟有奋斗！CSDN大数据领域优质创作者，2024博客之星TOP47，阿里云社区专家博主，华为云云享专家。商务合作+V：Cheneycap01。热爱学习大数据与人工智能的相关知识，专注Hadoop、Spark实战，打造了《大数据技术基础》《Python机器学习》等热门专栏，助力行业技术落地。多篇热文登榜TOP，开源项目解析广受好评。以代码为笔，记录成长；以博客为媒，传递价值。关注我，一起畅游于数据变化的世界中，发现更多精彩~~
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【自然语言处理】预训练06：子词嵌入
本文讲解自然语言处理预训练的子词嵌入。fastText模型用子词嵌入处理词变形，子词为字符n-gram，词向量由子词向量相加得到。字节对编码是压缩算法，能提取可变长度子词，通过迭代合并频繁符号对生成新符号，用于自然语言处理预训练模型输入表示。原创 2025-11-10 09:00:00 · 1251 阅读 · 44 评论 -
【自然语言处理】预训练05：全局向量的词嵌入（GloVe）
本文讲解自然语言处理预训练的全局向量的词嵌入。上下文词共现含丰富语义信息，可预先计算共现统计。GloVe模型基于平方损失对跳元模型修改，用全局统计，中心词与上下文词向量数学等价，还可从共现概率比值理解。原创 2025-11-07 17:05:43 · 1979 阅读 · 12 评论 -
【自然语言处理】预训练04：预训练word2vec
本文讲解自然语言处理预训练的词嵌入（word2vec）的跳元语法模型，通过负采样在PTB数据集预训练。涵盖嵌入层定义、前向传播、二元交叉熵损失、模型训练及词向量应用（如余弦相似度找相似词），最终展示“chip”的相似词结果。原创 2025-11-04 09:54:58 · 834 阅读 · 53 评论 -
【自然语言处理】预训练03：用于预训练词嵌入的数据集
本文讲解word2vec跳元模型与负采样的实现，以PTB数据集为例，依次完成读取数据集、下采样高频词、提取中心词与上下文词、负采样噪声词、构建小批量样本，最后整合为数据加载函数并输出批量数据形状。原创 2025-11-02 21:37:10 · 790 阅读 · 32 评论 -
【自然语言处理】预训练02：近似训练
本文讲解自然语言处理近似训练。为降低词嵌入训练计算复杂度，介绍了负采样和层序softmax两种近似方法。负采样减少梯度计算成本；层序softmax用二叉树结构，使训练步计算代价显著降低。原创 2025-10-30 09:00:00 · 1567 阅读 · 44 评论 -
【自然语言处理】预训练01：词嵌入（word2vec）
本文讲解自然语言处理预训练中的词嵌入。词向量用于表示单词意义，独热向量无法表达词间相似度。word2vec提出跳元和连续词袋两个自监督模型，分别通过中心词或上下文词预测来训练，得到更优词表示。原创 2025-10-24 10:15:00 · 2171 阅读 · 62 评论 -
【深度学习计算机视觉】14：实战Kaggle比赛：狗的品种识别（ImageNet Dogs）
本文讲解了Kaggle狗品种识别比赛的实战流程，涵盖数据获取与整理、图像增广、微调预训练ResNet-34模型、训练验证及测试集分类，最终生成提交文件，实现120类狗品种的识别任务。原创 2025-10-20 09:27:29 · 1161 阅读 · 49 评论 -
【深度学习计算机视觉】13：实战Kaggle比赛：图像分类 (CIFAR-10)
本文讲解实战Kaggle比赛：图像分类。如何参与CIFAR-10图像分类Kaggle竞赛，包括数据获取、预处理、模型训练及验证，最终生成submission.csv文件并提交结果至Kaggle。原创 2025-10-17 09:00:00 · 2731 阅读 · 49 评论 -
【深度学习计算机视觉】12：风格迁移
本文讲解深度学习计算机视觉的风格迁移技术，用卷积神经网络将内容图像风格转为风格图像风格，涵盖方法、图像处理、特征抽取、损失函数定义、合成图像初始化及模型训练，最终输出风格迁移后的合成图像。原创 2025-10-15 08:30:00 · 2494 阅读 · 54 评论 -
【深度学习计算机视觉】11：全卷积网络
本文讲解深度学习计算机视觉中的全卷积网络。全卷积网络利用卷积神经网络提取图像特征，通过1×1卷积层转换通道数为类别数，再经转置卷积层恢复图像尺寸，实现从图像像素到像素类别的精确变换。原创 2025-10-09 09:00:00 · 1850 阅读 · 55 评论 -
【深度学习计算机视觉】10：转置卷积
本文讲解深度学习计算机视觉中的转置卷积。转置卷积可逆转下采样导致的空间尺寸减小。它通过卷积核“广播”输入元素来增大输出，与常规卷积操作相反，且其正、反向传播函数可交换。原创 2025-10-06 14:41:42 · 5266 阅读 · 60 评论 -
【深度学习计算机视觉】09：语义分割和数据集
本文讲解语义分割、图像分割和实例分割，重点介绍Pascal VOC2012语义分割数据集处理流程：包括数据读取、随机裁剪预处理、自定义数据集类及数据加载，强调语义分割的像素级标注特性，支持精确图像区域划分。原创 2025-10-03 10:00:00 · 1995 阅读 · 45 评论 -
【深度学习计算机视觉】08：区域卷积神经网络（R-CNN）系列
本文讲解深度学习计算机视觉中的区域卷积神经网络。R-CNN开创深度模型目标检测先河，Fast R-CNN改进共享计算，Faster R-CNN引入区域提议网络，Mask R-CNN基于Faster R-CNN，用兴趣区域对齐层提升像素级预测精度。原创 2025-09-29 08:30:00 · 1676 阅读 · 38 评论 -
【深度学习计算机视觉】07：单发多框检测（SSD）
本文讲解深度学习计算机视觉中的单发多框检测。单发多框检测（SSD）模型，包括模型构成、类别与边界框预测层设计、多尺度预测连结、模型训练及预测过程，最终筛选出置信度不低于0.9的预测目标进行输出。原创 2025-09-26 10:54:15 · 3378 阅读 · 42 评论 -
【深度学习计算机视觉】06：目标检测数据集
本文讲解深度学习计算机视觉中的目标检测数据集。收集的香蕉检测数据集可用于演示目标检测模型。用于目标检测的数据加载与图像分类的数据加载类似。但在目标检测中，标签还包含真实边界框的信息，它不出现在图像分类中。原创 2025-09-22 10:42:43 · 2875 阅读 · 37 评论 -
【深度学习计算机视觉】05：多尺度目标检测
本文讲解深度学习计算机视觉中的多尺度目标检测。多尺度下生成不同尺寸锚框检测目标，依特征图形状定中心，用感受野信息预测，多层次学习实现多尺度检测。原创 2025-09-15 08:30:00 · 7135 阅读 · 53 评论 -
【深度学习计算机视觉】04：锚框
本文讲解深度学习计算机视觉中的锚框。目标检测通过生成多尺度锚框覆盖目标，用IoU匹配真实框并标注类别与偏移量，训练后预测时通过非极大值抑制（NMS）筛选最优边界框，实现精准定位与分类。原创 2025-09-12 09:00:00 · 1476 阅读 · 48 评论 -
【深度学习计算机视觉】03：目标检测和边界框
本文讲解深度学习计算机视觉中的目标检测和边界框。目标检测需定位多目标，本文介绍边界框概念，给出两种表示法转换函数，并在示例图像上绘制边界框。原创 2025-09-09 08:30:00 · 5920 阅读 · 48 评论 -
【深度学习计算机视觉】02：微调
本文讲解深度学习计算机视觉的微调。迁移学习中的微调通过预训练模型（如ImageNet）复制参数（除输出层），添加新输出层并训练，在小数据集（如热狗识别）上效果优于随机初始化训练，提升泛化能力。原创 2025-08-29 09:00:00 · 3353 阅读 · 43 评论 -
【深度学习计算机视觉】01：图像增广
本文讲解深度学习计算机视觉中的图像增广。图像增广通过随机翻转、裁剪、调整颜色等方法扩大训练集，减少模型对位置、颜色等属性的依赖，提升泛化能力。示例在CIFAR-10上用ResNet-18结合多GPU训练，验证其效果。原创 2025-08-27 09:00:00 · 953 阅读 · 37 评论 -
【深度学习计算性能】07：参数服务器
本文讲解深度学习计算性能的参数服务器。分布式并行训练算法随GPU和服务器增加变复杂。本文介绍了数据并行、环同步、多机训练方法，并提出用键值存储的push和pull操作解耦关注点。原创 2025-08-22 08:30:00 · 2661 阅读 · 39 评论 -
【深度学习计算性能】06：多GPU的简洁实现
本文讲解深度学习计算性能中的多GPU的简介实现。通过PyTorch的DataParallel实现多GPU并行训练，以ResNet-18为例，对比单/双GPU训练效果，验证了并行化对复杂模型的可扩展性优势，加速了训练过程。原创 2025-08-19 10:00:00 · 1288 阅读 · 40 评论 -
【深度学习计算性能】05：多GPU训练
本文讲解了深度学习训练的并行化方法，重点介绍了数据并行性，通过跨多个GPU拆分数据来并行训练网络，给出了具体实现代码，并展示了在单个和多个GPU上的训练效果。原创 2025-08-16 08:00:00 · 2002 阅读 · 44 评论 -
【深度学习计算性能】04：硬件
本文讲解计算机的相关硬件。计算机由CPU、内存、以太网连接、高速扩展总线（PCIe）、持久性存储设备等关键部件组成。内存访问、GPU操作及数据传输的延迟差异显著，合理设计可避免性能瓶颈，实现高效系统。原创 2025-08-14 10:00:00 · 2233 阅读 · 42 评论 -
【深度学习计算性能】03：自动并行
本文讲解深度学习计算性能中的自动并行。以PyTorch为例，展示GPU并行计算、并行计算与通信操作，凸显基于图的计算后端自动优化调度的优势。原创 2025-08-11 08:30:00 · 1691 阅读 · 53 评论 -
【深度学习计算性能】02：异步计算
本文讲解深度学习计算性能中的异步计算。现代计算机是并行系统，但Python不擅并行异步编程。PyTorch用异步编程，通过前后端交互执行计算，减少前端等待，执行多次计算时总时间可大幅降低。原创 2025-08-08 08:30:00 · 1766 阅读 · 46 评论 -
【深度学习计算性能】01：编译器和解释器
本文讲解深度学习计算性能的编译器和解释器。对比了Python命令式编程和TensorFlow符号式编程的特点，并介绍了通过torch.jit.script实现PyTorch的混合式编程。原创 2025-08-06 08:30:00 · 1322 阅读 · 35 评论 -
【深度学习优化算法】11：学习率调度器
本文讲解深度学习优化算法中的学学率调度器。学习率管理对模型优化至关重要，涉及大小、衰减速率、初始化及预热等方面。通过调度策略如余弦调度和预热期，可有效提升模型训练效果，防止发散并加速收敛。原创 2025-08-04 08:30:00 · 908 阅读 · 42 评论 -
【深度学习优化算法】10：Adam算法
本文讲解深度学习优化算法中的Adam算法。Adam算法汇总多种优化技术，使用指数加权移动平均估算梯度动量和二次矩，但可能因方差控制不良发散。Yogi算法改进了Adam的二次矩估计更新，解决了可能无法收敛的问题。展示了Adam和Yogi算法的代码实现及训练效果。原创 2025-07-28 12:46:20 · 2971 阅读 · 58 评论 -
【深度学习优化算法】09：Adadelta算法
本文讲解深度学习优化算法中的Adadelta算法。Adadelta算法使用参数本身的变化率来调整学习率。Adadelta需要两个状态变量来存储梯度的二阶导数和参数的变化。Adadelta使用泄漏的平均值来保持对适当统计数据的运行估计。原创 2025-07-25 08:30:00 · 3387 阅读 · 55 评论 -
【深度学习优化算法】08：RMSProp算法
本文讲解深度学习优化算法的RMSProp算法。与Adagrad算法非常相似，因为两者都使用梯度的平方来缩放系数。RMSProp算法与动量法都使用泄漏平均值。但是，RMSProp算法使用该技术来调整按系数顺序的预处理器。原创 2025-07-21 09:00:00 · 1432 阅读 · 46 评论 -
【深度学习优化算法】07：AdaGrad算法
本文讲解AdaGrad算法。通过记录特征出现次数或梯度平方和调整学习率，还探讨凸优化预处理及算法实现，包括从零实现与简洁实现，展示了其在优化中的效果。原创 2025-07-18 09:00:00 · 1339 阅读 · 42 评论 -
【深度学习优化算法】06：动量法
本文探讨更高效优化算法，重点介绍了泄漏平均值（动量）方法，通过累加过去梯度减小方差，提高收敛性。还分析了条件不佳问题，通过数学推导和实例展示了动量法在优化中的优势，包括扩大学习率范围，提高参数适应性，加速收敛。原创 2025-07-15 21:02:34 · 1285 阅读 · 45 评论 -
【深度学习优化算法】05：小批量随机梯度下降
本文讲解梯度下降与随机梯度下降的极端情况，引出小批量随机梯度下降作为折中方案。通过实践分析向量化与缓存对计算效率的影响，对比不同批量大小的性能，并展示了使用深度学习框架的简洁实现方式，强调了小批量随机梯度下降在收敛速度和计算效率上的平衡。原创 2025-07-08 08:30:00 · 1422 阅读 · 45 评论 -
【深度学习优化算法】04：随机梯度下降
本文讲解随机梯度下降通过随机采样降低计算代价至O(1)，但受梯度随机性影响轨迹嘈杂。动态调整学习率可缓解此问题，实践中采用无替换采样遍历数据，以不同随机顺序提高数据效率，按O(1/√T)速度收敛至最优解。原创 2025-07-04 21:34:59 · 1525 阅读 · 46 评论 -
【深度学习优化算法】03：梯度下降
本文讲解梯度下降优化目标函数，关键在于学习率选择，过大会发散，过小会无进展，可能陷入局部极小值，高维模型中调整学习率复杂，预处理有助于调节。原创 2025-06-23 08:00:00 · 1187 阅读 · 54 评论 -
【深度学习优化算法】02：凸性
本节讲解了凸函数，目的是帮助我们详细了解优化算法。凸函数的下水平集是凸的。这一性质不仅在数学上具有重要意义，而且在优化问题和机器学习领域也有广泛的应用。通过理解和利用这一性质，我们可以更好地解决实际问题并设计出更高效的算法。原创 2025-06-04 09:26:32 · 2214 阅读 · 86 评论 -
【深度学习优化算法】01：优化和深度学习
本文讲解深度学习优化。深度学习优化旨在最小化损失函数（训练误差），但核心挑战在于平衡训练与泛化误差。优化过程面临三大障碍：局部最小值、鞍点、梯度消失，激活函数饱和区域导致优化停滞，需结合优化算法与正则化策略应对过拟合。原创 2025-05-30 11:50:12 · 1556 阅读 · 67 评论 -
【现代深度学习技术】注意力机制07：Transformer
Transformer基于自注意力和位置编码，采用编码器-解码器架构。编码器和解码器通过堆叠多头注意力层和前馈网络构成，利用残差连接和层规范化提升训练效果，在并行计算和短依赖路径优势下，广泛应用于序列任务如机器翻译。原创 2025-05-15 10:00:36 · 2806 阅读 · 76 评论 -
【现代深度学习技术】注意力机制06：自注意力和位置编码
本文讲解自注意力和位置编码。自注意力通过并行处理全局依赖，结合正弦/余弦位置编码注入序列位置信息，虽计算复杂度高，但路径短，克服了RNN/CNN的顺序限制，有效捕获长距离关系。原创 2025-05-12 09:19:53 · 1436 阅读 · 50 评论