![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
神经网络
文章平均质量分 90
一颗磐石
这个作者很懒,什么都没留下…
展开
-
深度可分离卷积
由模型量化而思考深度可分离卷积以及MobileNet原创 2022-05-03 22:45:06 · 4265 阅读 · 2 评论 -
【2】谷歌2021模型量化白皮书《A White Paper on Neural Network Quantization》
2021 google模型量化白皮书导读离线量化(PTQ)量化范围设置、Cross-Layer Equalization原创 2022-05-02 16:30:29 · 1498 阅读 · 3 评论 -
【1】谷歌2021模型量化白皮书《A White Paper on Neural Network Quantization》
2021 Google模型量化白皮书原创 2022-04-23 22:33:38 · 7893 阅读 · 3 评论 -
《Dense Relation Distillation with Context-aware Aggregation for Few-Shot Object Detection》论文总结
一篇针对小样本目标检测的2021CVPR论文解读《Dense Relation Distillation with Context-aware Aggregation for Few-Shot Object Detection》,论文在faster-rcnn的基础上引入了K-Shot元学习的框架提出DCNet,并引入了通道Attention和Transformer的思想,提出Dense Relation Distillation模块和Context-aware Aggregation模块。原创 2022-04-18 19:39:40 · 3008 阅读 · 2 评论 -
nn.Sequential()
nn.Sequential()nn.Sequential()介绍一个序列容器,用于搭建神经网络的模块被按照被传入构造器的顺序添加到nn.Sequential()容器中。除此之外,一个包含神经网络模块的OrderedDict也可以被传入nn.Sequential()容器中。利用nn.Sequential()搭建好模型架构,模型前向传播时调用forward()方法,模型接收的输入首先被传入nn.Sequential()包含的第一个网络模块中。然后,第一个网络模块的输出传入第二个网络模块作为输入,按照顺序依次原创 2022-04-15 16:14:15 · 66501 阅读 · 4 评论 -
学习BatchNormalization
BatchNormalization网络模型的发展深度学习训练法则的弊端解决方法—BatchNormalizationBatchNormalization注意事项Pytorch里的BatchNormalization实现原创 2022-04-09 17:20:28 · 1352 阅读 · 0 评论 -
深度学习之动态调整学习率LR
深度学习之动态调整学习率LR什么是学习率为什么要动态调整学习率基于Pytorch动态调整学习率的几种常见方法原创 2022-03-26 14:14:48 · 8125 阅读 · 0 评论 -
膨胀卷积(空洞卷积)学习篇
文章目录膨胀卷积提出背景膨胀卷积是什么膨胀卷积的设计原理膨胀卷积的优缺点膨胀卷积的改进膨胀卷积基于Pytorch的代码实现总结提出背景膨胀卷积是什么膨胀卷积的设计原理膨胀卷积的优缺点膨胀卷积的改进膨胀卷积基于Pytorch的代码实现原创 2022-03-23 11:40:56 · 17435 阅读 · 15 评论 -
yolov3网络(DarkNet53)结构详解以及Pytorch代码实现
目录引言网络结构讲解网络结构设计理念残差结构步长为2的卷积替换池化层网络性能评估yolo v3中Darknet-53网络基于Pytorch的代码实现总结引言yolo v3用于提取特征的backbone是Darknet-53,他借鉴了yolo v2中的网络(Darknet-19)结构,在名字上我们也可以窥出端倪。不同于Darknet-19的是,Darknet-53引入了大量的残差结构,并且使用步长为2,卷积核大小为3×3卷积层Conv2D代替池化层Maxpooling2D。通过在ImageNet上的分类表原创 2022-03-18 21:44:48 · 17663 阅读 · 4 评论 -
损失函数 | BCE Loss(Binary CrossEntropy Loss)
BCE(Binary CrossEntropy)损失函数图像二分类问题--->多标签分类Sigmoid和Softmax的本质及其相应的损失函数和任务多标签分类任务的损失函数BCEPytorch的BCE代码和示例总结图像二分类问题—>多标签分类二分类是每个AI初学者接触的问题,例如猫狗分类、垃圾邮件分类…在二分类中,我们只有两种样本(正样本和负样本),一般正样本的标签y=1,负样本的标签y=0。比如下边这张图片,判断里边有没有人。那么这张图片的标签为y=1,这时我们就根据标签y=1来设计模型原创 2022-03-10 12:48:16 · 111941 阅读 · 25 评论 -
手撕代码,不用深度学习框架自己写卷积层
随着深度学习技术的不断更新,应用越来越广泛。为了方便开发,各大公司都开源了自己深度学习框架,比如Google的Tensorflow,Facebook的Pytorch,百度的PaddlePaddle飞桨,里边各种函数接口API我们调用到手软,非常方便,而且上手也很快。但是在面试的时候,面试官为了考察应聘者对深度学习原理的理解程度,有时会让手撕源码,今天我们就来练习一下。在本文中,我们先简单介绍一下卷积层和池化层,然后开始写代码。卷积层介绍在卷积层中,我们会设置一个或多个固定 (或不固定) 大小(3 *原创 2021-07-03 17:11:14 · 1030 阅读 · 2 评论 -
Pytorch的Autograd与计算图
Autograd与计算图基本数据Tensor可以完成前向传播,想要完成神经网络的训练,还需要进行反向传播和梯度更新,而PyTorch提供了自动求 导机制autograd,将前向传播的计算记录成计算图,自动完成求导。自动求导机制记录了Tensor的操作,以便自动求导与反向传播。可以通过requires_grad参数来创建支持自动求导机制的Tensor。>>> import torch >>> a = torch.randn(2,2, requires_grad=Tr原创 2021-04-01 19:57:38 · 436 阅读 · 0 评论 -
Pytorch的数据类型(张量)及其属性和运算方式
基本数据Pytorch的基本数据类型为Tensor(张量),本质上是一种包含单一数据类型元素的多为矩阵。从使用角度看,其与numpy的ndarrays类似,两者之间也可以相互转换,区别是tensor支持在GPU上运算。Tensor数据类型与其他数据一样,tensor也包括多种数据类型,其中包括7种cpu tensor类型和8种gpu tensor类型。在使用时我们要根据模型所需的精度和硬件设备的条件选取合适的数据类型。Tensor数据类型介绍数据类型CPU TensorGPU Tens原创 2021-04-01 17:12:01 · 1714 阅读 · 0 评论 -
pytorch数据处理、加载、GPU加速以及可视化方法
2.5 数据处理数据对于深度学习而言是至关重要的,丰富、完整、规范的数据集往往能训练出性能优异的网络模型。本次首先介绍物体检测领域当前较为主流的公开数据集,然后从数据的加载、数据的GPU加速、数据的可视化3个方面介绍。2.5.1 主流公开数据集深度学习能够取得快速发展的其中一个主要原因是建立在大量数据的基础上,是用数据 “喂” 出来的。世界上一些先进的研究机构和公司开源了一些规模庞大且质量高的数据集,为研究者提供了训练数据,也提供了标准的评测平台。公开主流数据集发布时间发布机构目的容原创 2021-04-01 10:48:44 · 1437 阅读 · 0 评论 -
深度卷积神经网络层探析与caffe实现表情识别
本篇博客我们主要来探讨一下深度学习框架下的卷积神经网络各层的作用,并且使用caffe深度学习框架搭建模型实现表情识别。深度卷积网络各层作用解析输入层首先展示一下输入层结构:input: "data" input_shape { dim: 1 # batchsize dim: 1 # number of channels dim: 224 # width dim: 28 # height }在输入层中,我们只需要定义输入数据的形状,在这里我们输原创 2020-07-16 11:41:14 · 2608 阅读 · 0 评论 -
从模型搭建到训练,手把手教你Tensorboard可视化训练数据——tensorflow2.0及其以上版本
dansd原创 2020-07-04 12:36:06 · 3639 阅读 · 0 评论 -
偏差和方差(bias and variance)
偏差和方差什么是偏差和方差偏差和方差的评价指标偏差与方差的平衡Reference在机器学习中,我们每次解决问题从建立模型,确定准则,选择算法都不可避免地会受到偏差和方差的困扰,那么什么是偏差和方差呢?怎么来估计偏差和方差的大小呢?方差和偏差之间又有什么关系?怎么去平衡这种关系,训练出我们想要的模型呢?下面一 一来解答:什么是偏差和方差偏差指的是模型的预测输出和标签之间的误差;方差指的是模型对...原创 2019-12-02 21:31:19 · 4521 阅读 · 0 评论 -
梯度下降原理(SGD,Adam,BGD,momentum,Adagrad,NAG)
近年来,AI大潮汹涌澎湃,包括机器学习,深度学习,计算机视觉,自然语言处理在内的许多领域都在迅速发展,并取得了显著的成果。每年都会有很多优秀经典的算法提出来,适用于不同的场景。However,现在网络的训练主要还是梯度下降以及从中衍生出的优化算法。想要入门机器学习和深度学习,梯度下降是你绕不过的坑,但今天本文的任务就是要引领大家彻底搞懂梯度下降,在学习中避免掉坑!梯度下降算法(引言)训练神经网...原创 2019-12-02 19:27:57 · 4957 阅读 · 1 评论