深度学习
文章平均质量分 65
深度学习相关知识
ZZY_dl
积极向上 自信阳光
展开
-
深度学习笔记(十四):Transormer知识总结
Transformer知识总结原创 2022-08-24 10:38:09 · 597 阅读 · 0 评论 -
深度学习笔记(十三):IOU、GIOU、DIOU、CIOU、EIOU、Focal EIOU、alpha IOU、SIOU、WIOU损失函数分析及Pytorch实现
文章目录IOU-lossGIOU-lossDIOU-lossCIOU-lossEIOU-loss总对比IOU-lossGIOU-lossDIOU-lossCIOU-lossEIOU-lossCIOU Loss虽然考虑了边界框回归的重叠面积、中心点距离、纵横比。但是通过其公式中的v反映的纵横比的差异,而不是宽高分别与其置信度的真实差异,所以有时会阻碍模型有效的优化相似性。针对这一问题,有学者在CIOU的基础上将纵横比拆开,提出了EIOU Loss,并且加入Focal聚焦优质的锚框,该方法出自于20原创 2022-02-09 14:26:52 · 29051 阅读 · 37 评论 -
深度学习笔记(十二):普通卷积、深度可分离卷积、空间可分离卷积代码
文章目录定义具体代码分析定义空间可分离卷积:是因为它主要处理图像和卷积核(kernel)的空间维度:宽度和高度。空间可分离卷积简单地将卷积核划分为两个较小的卷积核。 最常见的情况是将3x3的卷积核划分为3x1和1x3的卷积 核,如下所示:现在,我们不是用9次乘法进行一次卷积,而是进行两次卷积,每次3次乘法(总共6次),以达到相同的效果。 乘法较少,计算复杂性下降,网络运行速度更快。深度可分离卷积:对输入图像的每个通道分别设置一个卷积核,卷积出的结果通道数与原图保持一致,后使用point-wi原创 2021-10-09 15:42:20 · 1898 阅读 · 0 评论 -
深度学习笔记(十一):各种特征金字塔合集
文章目录FPNPANBiFPNFPN# Modification 2020 RangiLyu# Copyright 2018-2019 Open-MMLab.# Licensed under the Apache License, Version 2.0 (the "License");# you may not use this file except in compliance with the License.# You may obtain a copy of the License原创 2021-07-12 20:46:34 · 510 阅读 · 0 评论 -
环境安装(二):windows10下安装caffe框架(cuda10.0、cudnn7.6.4)
文章目录1.安装cuda10.0和cudnn7.6.42.安装caffe框架2.1.下载caffe源码压缩包2.2 下载NugetPackages1.安装cuda10.0和cudnn7.6.4如果要安装这两个可以看我另外一篇博客:https://blog.csdn.net/m0_51004308/article/details/1123185782.安装caffe框架2.1.下载caffe源码压缩包https://github.com/Microsoft/caffe2.2 下载NugetPac转载 2021-03-18 20:34:46 · 828 阅读 · 1 评论 -
深度学习笔记(十):深度学习评估指标
文章目录专业名词解释一级指标二级指标深度学习评估指标专业名词解释HTC (Hybrid Task Cascade) - 混合任务级联bounding box - 边界矩形框RoI(Region of Interest) - 感兴趣区域Rol Pooling - Rol 池化(RoI Pooling = crop feature + resize feature)Rol Align - 解决了ROI Pooling操作中两次量化造成的区域不匹配(mis-alignment)的原创 2021-03-08 16:19:03 · 1221 阅读 · 0 评论 -
深度学习笔记(九):神经网络剪枝(Neural Network Pruning)详细介绍
文章目录1:What is pruning2:Pruning in MLP(多层感知机)2.2 How to make mask3.Pruning in CNN(卷积神经网络)1:What is pruning剪枝是一种模型压缩的方法,这种方法可以有效的裁剪模型参数且最小化精度的损失。由于深度学习模型可以看作是一个复杂树状结构,如果能减去一些对结果没什么影响的旁枝,也就是修剪神经网络中不重要的权重,就可以实现模型的减小。比如说看下图我们通过观察这个函数发现有些项对应的系数是很小的,也就是说对于拟合的原创 2021-03-07 15:14:10 · 11692 阅读 · 3 评论 -
深度学习笔记(八):Padding两个模式的区别:SAME and VALID
当padding='SAME’时输出层矩阵的长度,等于,输入层矩阵长度除以长度方向上的步长,也就是说28/1向上取整=28…当padding='VALID’时谨记!全0填充的含义,不是在右(下)多加一行(列)0。具体加多少0要根据实际情况决定!主要还是记一下公式就好了。...转载 2021-03-02 14:26:45 · 634 阅读 · 0 评论 -
深度学习笔记(七):如何用Mxnet来将神经网络可视化
pip install mxnet-cu100 -i https://pypi.douban.com/simplepip install graphviz==0.8.4 并把F:\Anaconda3\envs\cv_car\Lib\site-packages\graphviz添加到电脑环境中原创 2021-02-08 14:45:56 · 267 阅读 · 0 评论 -
深度学习笔记(五):学习率过大过小对于网络训练有何影响以及如何解决
文章目录1.学习率的作用2.学习率太大有何影响3.学习率太小有何影响4.如何进行学习率设置5.学习率缓减机制1.学习率的作用学习率 (learning rate),作为监督学习以及深度学习中重要的超参,它控制网络模型的学习进度,决定这网络能否成功或者需要多久成功找到全局最小值,从而得到全局最优解,也就是最优参数。换句话说学习率和stride(步长)性质差不多。2.学习率太大有何影响首先我们要认识到学习率过大,自然第一反应就是学习的速度或者说忽略了某些阶段直接学到了下一个阶段的东西,这对于计算机来说是原创 2021-01-31 01:19:11 · 54691 阅读 · 1 评论 -
深度学习笔记(六):如何运用梯度下降法来解决线性回归问题
文章目录1.梯度下降法2.线性回归问题3.具体代码1.梯度下降法梯度下降法是一种常用的迭代方法,其目的是让输入向量找到一个合适的迭代方向,使得输出值能达到局部最小值。在拟合线性回归方程时,我们把损失函数视为以参数向量为输入的函数,找到其梯度下降的方向并进行迭代,就能找到最优的参数值。我们看下面这个二维平面:也就是说我们要运用梯度下降法顺利且快速的找到全局最优解,也就是最低的地方,我们运用的公式如下:W1为上一层的权值,α为学习率,后面这个比值是y对w进行求导之和,通过我后面给的代码可以很清楚的原创 2021-01-30 22:04:13 · 1599 阅读 · 2 评论 -
深度学习笔记(四):神经网络之链式法则详解
简单的说链式法则就是原本y对x求偏导,但是由于过程较为复杂,我们引入了一个中间层z,先利用y对z求偏导,在乘上z对x求偏导,这样会使整个计算更为简单。作用:通过链式法则我们就可以把最后一层的误差,一层一层的输出到中间层上面去,从而得到中间层的梯度信息,通过梯度信息我们就能很好的更新权值,从而达到更好的优化效果。从上面可以知道E为最右边,当E对w1做偏微分,可以更新w1;同理E对w2做偏微分,就更新w2.从X到E之间我们经历了O1和O2,通过链式法则,从一个复杂的偏微分,就变成了三个简单的偏微分求解,原创 2021-01-28 23:06:42 · 3622 阅读 · 0 评论 -
深度学习笔记(三):神经网络之九种激活函数Sigmoid、tanh、ReLU、ReLU6、Leaky Relu、ELU、Swish、Mish、Softmax详解
文章目录1.什么叫激活函数2.激活函数的作用3.激活函数的类型4.Sigmoid/Logistic5.tanh6.ReLU1.什么叫激活函数激活函数可作用于感知机(wx+b)累加的总和 ,所谓的激活就是把输出值必须要大于,节点才可以被激活,不然就处于睡眠状态。2.激活函数的作用提供网络的非线性建模能力。如果没有激活函数,那么该网络仅能够表达线性映射,此时即便有再多的隐藏层,其整个网络跟单层神经网络也是等价的。因此也可以认为,只有加入了激活函数之后,深度神经网络才具备了分层的非线性映射学习能力。由于输原创 2021-01-27 20:39:33 · 4306 阅读 · 6 评论 -
深度学习之格式转换笔记(四):Keras(.h5)模型转化为TensorFlow(.pb)模型
环境tensorflow-gpu 1.15 ,keras 2.3.1,cuda 10.0.0 ,cudnn 7.6.4tensorflow和keras对应版本:https://docs.floydhub.com/guides/environments/h5模型转pb模型源代码:#!/usr/bin/env pythonimport tensorflow as tffrom tensorflow.python.framework import graph_utilfrom tensorflo原创 2021-01-22 20:09:01 · 1145 阅读 · 0 评论 -
深度学习之格式转换笔记(三):keras(.hdf5)模型转TensorFlow(.pb) 转TensorRT(.uff)格式
环境:tensorflow1.15,cuda10.0,cudnn7.6.4将keras训练好保存的.hdf5格式模型转为tensorflow的.pb模型,然后转为tensorrt支持的uff格式。keras(.hdf5)模型转TensorFlow(.pb)# h5_to_pb.pyfrom keras.models import load_modelimport tensorflow as tfimport osimport os.path as ospfrom keras import原创 2021-01-22 19:13:52 · 1832 阅读 · 0 评论 -
深度学习之格式转换笔记(二):CKPT 转换成 PB格式文件
我们使用tf.train.saver()保存模型时会产生多个文件,也就是说把计算图的结构和图上参数取值分成了不同的文件存储。这也是在tensorflow中常用的保存方式。保存文件的代码:import tensorflow as tf# 声明两个变量v1 = tf.Variable(tf.random_normal([1, 2]), name="v1")v2 = tf.Variable(tf.random_normal([2, 3]), name="v2")init_op = tf.global_原创 2021-01-22 13:52:47 · 1657 阅读 · 1 评论 -
深度学习之格式转换笔记(一):模型文件pt转onnx转tensorrt格式实操成功
常见的模型文件包括后缀名为.pt,.pth,.pkl的模型文件,而这几种模型文件并非格式上有区别而是后缀不同而已,保存模型文件往往用的是torch.save(),后缀不同只是单纯因为每个人喜好不同而已。通常用的是pth和pt。保存:orch.save(model.state_dict(), mymodel.pth)#只保存模型权重参数,不保存模型结构调用:model = My_model(*args, **kwargs) #这里需要重新模型结构,pthfile = r’绝对路径’loaded_原创 2021-01-22 12:35:02 · 10401 阅读 · 14 评论 -
深度学习笔记(一): 神经网络之感知机详解
在这篇文章我们主要了解感知机定义、功能、模型如何去获得损失函数、以及有哪些方法去将损失函数极小化,从而确定模型参数感知机模型的定义:输入空间由xi(xi(1),xi(2),xi(3)…xi(n))组成,输出空间为{-1, +1},由输入空间到输出空间的映射函数为 f(x)=sign(w·x+b) 称为感知机。其中w是权重向量,b称为偏置,w·x为w和x的内积。sign(x)是符号函数,即:0![在这里插入图片描述](https://img-blog.csdnimg.cn/20210114151600原创 2021-01-14 15:47:46 · 844 阅读 · 0 评论 -
深度学习笔记(二):神经网络之优化损失函数算法介绍
神经网络优化算法:梯度下降法、Momentum、RMSprop和Adamhttps://www.cnblogs.com/jiaxblog/p/9695042.html转载 2021-01-14 15:53:24 · 520 阅读 · 0 评论