深度学习
AI 黎明
这个作者很懒,什么都没留下…
展开
-
深度学习算法中图像预处理和后处理方法
连接转载 2021-07-02 17:38:10 · 5156 阅读 · 0 评论 -
GPU显存不足-优化方案-pytorch
按照优化成本,对可以减少显存占用方案进行排序:目录1.计算总loss时候进行代码优化2.降低batch_size3.Relu 的 inplace 参数4.释放不需要的张量和变量5.数据变小6.精简模型1.计算总loss时候进行代码优化loss本身是一个包含梯度信息的 tensor,正确的求损失和的方式为:total_loss += loss.item()2.降低batch_size适当降低batch size, 则模型每层的输入输出就会成线性减少, 效果相当明显。必须要多个batch_size原创 2020-12-03 22:15:56 · 3889 阅读 · 0 评论 -
结果分析—TrainLoss_TestLoss
参考: link.转载 2020-05-21 11:06:52 · 299 阅读 · 0 评论 -
conda和cmd命令
conda环境管理参考:https://www.cnblogs.com/liaohuiqiang/p/9380417.html.conda和cmd常用命令参考:https://blog.csdn.net/qq_44775361/article/details/101194523.原创 2019-12-25 12:08:47 · 575 阅读 · 0 评论 -
VGG网络结构图
参考博客:https://blog.csdn.net/OOFelvis/article/details/90738469.转载 2019-12-25 11:25:47 · 2045 阅读 · 0 评论 -
为什么卷积核个数就是卷积后的通道数?
参考博客: https://blog.csdn.net/Xiao_Bai_Ke/article/details/98998767.https://blog.csdn.net/zh_ch_yu/article/details/88383196.输入: 3通道的6 ×\times× 6图像(3 ×\times× 6 ×\times× 6)卷积核: 2个3 ×\times× 3的卷积核(默认为...原创 2019-12-25 11:10:38 · 3914 阅读 · 0 评论 -
PyTorch_分类器详解_构建并训练CNN
运行错误:RuntimeError: An attempt has been made to start a new process before the current process has finished its bootstrapping phase. This probably means that you are not usin...原创 2019-09-09 21:23:48 · 418 阅读 · 0 评论 -
深度学习_卷积神经网络
卷积神经网络(Convolutional Neural Network, CNN)用于图像识别,在CNN 中有卷积层(Convolution层)、池化层(Pooling层)和全连接层(fully-connected), 随着网络深度的加深,高度和宽度会逐渐减小,信道的数量逐渐增加。常见的卷积神经网络有两种:(1)Input -> 卷积层 -> 池化层 -> 卷积层 ->...原创 2019-08-10 11:12:38 · 317 阅读 · 1 评论 -
深度学习_正则化_抑制过拟合
过拟合 是指只能拟合训练数据,但不能很好的拟合不包括训练数据在内的数据。用正则化来抑制过拟合,正则化有两种方法:权值衰减和Dropout。(1)发生过拟合的原因:——权重参数取值过大——模型拥有大量的参数,表现力强——训练数据少(2)权值衰减将上式加入到损失函数中,λ是控制正则化强度的超参数,λ越大对大的权重施加的惩罚就越重。(3)Dropout当网络模型变得复杂,用权值衰减就很...原创 2019-08-01 16:09:44 · 344 阅读 · 0 评论 -
深度学习_权重初始值_BatchNormalization
在神经网络的学习中,权重的初始值特别重要。很多时候权重的初始值关系到神经网络的学习能否成功。经过原创 2019-08-01 15:01:11 · 596 阅读 · 0 评论 -
深度学习_加法&乘法层的实现
参考书:深度学习入门:基于Python的理论与实现在深度学习中有一种高效计算权重参数梯度的方法----误差反向传播法。可以通过画计算图,来帮助理解误差反向传播法。计算图的乘法节点称为乘法层,加法节点称为加法层。实现代码如下:class MulLayer: # 乘法类 def __init__(self): self.x = None self....原创 2019-07-23 15:37:16 · 1384 阅读 · 0 评论 -
深度学习_参数更新
1.SGD(随机梯度下降法)将参数的梯度(导数)作为线索,沿梯度方向更新参数,重复多次逐渐靠近最优参数。该方法比较低效,当处理的函数的形状非均向时搜索路径会非常低效。(1)数学式W: 要更新的权重参数∂L/∂W: 损失函数关于W的梯度η: 学习率(2)实现代码class SGD: """随机梯度下降法(Stochastic Gradient Descent)""" ...原创 2019-07-31 21:56:08 · 1236 阅读 · 0 评论 -
深度学习_mini-batch实现&评价_详解
参考书:深度学习入门:基于Python的理论与实现mini-batch是在训练数据中随机选择小批量的数据,进行深度学习找到合适权重值。主要步骤:1.每次从6万多张MNIST数据集图片中挑选100张图片2.计算梯度3.根据梯度更新参数4.如果数据经过一个epoch,则计算识别精度5.重复以上步骤,通过梯度对参数更新10000次import numpy as npimport os...原创 2019-07-22 19:23:00 · 2597 阅读 · 0 评论 -
深度学习_两层神经网络的类
参考书:深度学习入门:基于Python的理论与实现两层神经网络实现代码中,有五个方法:1.初始化方法(__init__)2.预测/推理函数(predict)3.损失函数(loss)4.计算推理精度的函数(accuracy)5.计算各参数梯度的函数(numerical_gradient)import sysimport ossys.path.append(os.pardir) ...原创 2019-07-22 16:09:00 · 835 阅读 · 0 评论 -
深度学习_常用基本函数
参考书:深度学习入门:基于Python的理论与实现源代码 -> common -> functions.py# coding: utf-8import numpy as npdef identity_function(x): # 恒等函数 return xdef step_function(x): # 阶跃函数(P44):输入数组x,大...原创 2019-07-22 10:46:42 · 1043 阅读 · 3 评论 -
深度学习_Affine&Softmax-Loss层
Affine层:神经网络在传播时,进行的矩阵乘积运算。import numpy as npclass Affine: # 进行矩阵乘积运算的层 def __init__(self, w, b): self.w = w self.b = b self.x = None self.dw = None ...原创 2019-07-25 15:09:38 · 669 阅读 · 0 评论 -
深度学习_激活函数层
最重要的两个激活函数:ReLU、Sigmoid1.ReLU该函数式如下:原创 2019-07-24 09:04:10 · 384 阅读 · 0 评论