![](https://img-blog.csdnimg.cn/20190918140037908.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习总结经验帖
文章平均质量分 96
对深度学习常用方法的总结
迷路的咸鱼
不总结就没有积累
展开
-
Pytorch框架下训练网络的代码结构
PyTorch 是一个基于 Torch 的 Python 开源机器学习库,用于自然语言处理等应用程序,它主要由 Facebook 的人工智能研究小组开发。PyTorch 提供两个高级功能:(1) 具有强大的 GPU 加速的张量计算(如 NumPy);(2) 包含自动求导系统的深度神经网络。更多介绍详见官方网址:https://pytorch.org,也可以直接搜索 github 开源的:PyTorch 中文手册 (pytorch handbook)。 首先介绍Python的argparse模块(py原创 2021-05-09 16:34:29 · 1068 阅读 · 2 评论 -
卷积神经网络中的基础知识点总结
对卷积的理解 卷积神经网络(与DNN、RNN的区别)卷积的种类:普通卷积 反卷积 空洞卷积 可变形卷积 分组卷积 深度可分离卷积 什么是正则化?正则化的几种常用方法:dropout L1/L2范数 BN(Batch Normalization) 什么是梯度消失和梯度爆炸?原因 解决方法原创 2020-08-04 21:15:30 · 2197 阅读 · 0 评论 -
深度学习中常见的loss函数汇总
损失函数(Loss Function)分为经验风险损失函数和结构风险损失函数,经验风险损失函数反映的是预测结果和实际结果之间的差别,结构风险损失函数则是经验风险损失函数加上正则项(L1或L2)。深度学习中的损失函数被用于模型参数的估计,通常作为学习准则与优化问题相联系,即通过最小化损失函数求解和评估模型。 机器学习任务中的损失函数可以大体分为两种类型:回归损失和分类损失。在此基础上,在深度学习任务中又发展了很多不同的损失函数,由于在网络训练过程中损失函数指导着网络的学习,因此选择合适的损失函数也很重原创 2020-05-19 21:22:18 · 17008 阅读 · 2 评论 -
深度网络的训练经验总结(参数篇)
(续我的上一篇博客)最早训练神经网络的时候完全什么技巧都不懂,能成功运行开源代码,并且看到loss下降就放心跑着了。随着对网络越来越多的接触,发现从数据集(train/val/test)的准备到训练超参数(例如args或者config文件)的设置都逐渐会根据经验去进行设计了。从来没有细细梳理过每一个训练小trick和其背后的依据,因此以边梳理边学习的态度,根据个人和网站上大家的总结对深度网络的...原创 2020-04-16 22:04:59 · 4987 阅读 · 0 评论 -
深度网络的训练经验总结(数据篇)
最早训练神经网络的时候完全什么技巧都不懂,能成功运行开源代码,并且看到loss下降就放心跑着了。随着对网络越来越多的接触,发现从数据集(train/val/test)的准备到训练超参数(例如args或者config文件)的设置都逐渐会根据经验去进行设计了。从来没有细细梳理过每一个训练小trick和其背后的依据,因此根据个人和网站上大家的总结对深度网络的训练进行了梳理。目录数据集的准备1. 数...原创 2020-04-16 22:01:47 · 1731 阅读 · 0 评论