深度学习、知识点、小技巧汇总
主要是理论知识的总结归纳和代码小技巧汇总
AI扩展坞
当你的能力支撑不了自己的野心的时候,就静下心来安心学习、等待东风来破茧重生
展开
-
10分钟入门深度学习基础知识汇总
最基本的深度学习相关干货知识汇总:深度学习知识梳理(干货满满详解DNN/CNN/RNN)之神经网络基础(一)深度学习知识梳理(干货满满详解DNN/CNN/RNN)之深度学习网络结构(二)深度学习知识梳理(干货满满详解DNN/CNN/RNN)之深度学习网络模型(三)深度学习知识梳理(干货满满详解DNN/CNN/RNN)之模型训练(四)深度学习知识梳理(干货满满详解DNN/CNN/RNN)之评估与调参(五)...原创 2021-04-29 19:22:59 · 288 阅读 · 0 评论 -
[论文解读] 图像分割 & 目标识别 | Selective Search和python实现| <Selective Search for Object Recognition>
目录前言1 图像分割和目标识别过程:1.1 训练过程1.2 测试过程2 论文最大亮点 - selective search method2.1 主要思路:2.2 核心实现2.2.1 分析了颜色空间2.2.2 相似性判断标准的多样性2.2.3 初始region选择的多样性3 python源码说明3.1 相似度的实现3.2 主函数Reference前言此处只是叙述ss(selective search method)主体功能, 并且使用网上的简易实现版本-python代码,方便讲解. 官方MATLAB原创 2020-12-24 18:33:22 · 2831 阅读 · 1 评论 -
YOLOv4中常见CV学术名词说明(三){CSP/WRC/SAT}
目录【17】CSP(Cross-Stage-Partial-connections)【18】WRC (Weighted Residual Connections)【19】SAT(Self-adversarial-training)【17】CSP(Cross-Stage-Partial-connections)ref:https://www.cnblogs.com/yunshangyue71/p/13439853.html【18】WRC (Weighted Residual Connections)原创 2020-10-29 23:04:00 · 1335 阅读 · 0 评论 -
YOLOv4中常见CV学术名词说明(二){感受野/SPP/SE/SAM/NMS/激活函数盘点}
目录【9】感受野【10】SPP-Net详解【9】感受野The receptive field is defined as the region in the input space that aparticular CNN’s feature is looking at (i.e. be affected by).—— A guide to receptive field arithmetic for Convolutional Neural Networks感受野(Receptive Fie原创 2020-10-29 16:11:08 · 2136 阅读 · 0 评论 -
目标检测回归损失函数归纳(Smooth -> IOU -> GIOU -> DIOU -> CIOU)
目录1. 早期loss计算(L1/L2/SMOOTH loss)2. IOU(Intersection over Union)3.GIOU(Generalized Intersection over Union)4. DIOU(Distance-IoU Loss)5.CIoU Loss (Complete-IoU Loss)1. 早期loss计算(L1/L2/SMOOTH loss)早期计算BBOX的loss, 一般是计算4个点(测量值(x1,x2,w,h)VS ground truth (x1’, x原创 2020-10-28 23:00:50 · 1168 阅读 · 0 评论 -
YOLOv4中常见CV学术名词说明(一)【AP/anchor-base/anchor-free/1-stage/2-stage/facol loss/ label smooth/知识蒸馏/loss】
学术名词汇总【1】 MS COCO AP是什么意思?【2】 AP50什么意思【3】anchor-base/ anchor-free简述【4】one-stage/two-stage【5】focal loss【6】label smoothing【7】knowledge distillation(知识蒸馏)【8】GIOU/DIOU/CIOU【1】 MS COCO AP是什么意思?AP: average precisionyolov4中的AP是指针对MS COCO数据集的AP。评价标准略微不同COCO中说的原创 2020-10-28 18:06:39 · 2607 阅读 · 0 评论 -
Batch Normalization基本原理详解
在实际训练过程中,经常出现隐含层因数据分布不均,导致梯度消失或不起作用的情况。如采用sigmoid函数或tanh函数为激活函数时,如果数据分布在两侧,这些激活函数的导数就接近于0。这样一来,BP算法得到的梯度也就消失了。如何解决这个问题?Sergey Ioffe和Christian Szegedy两位学者提出了批标准化(BatchNormalization)方法。Batch Normalization不仅可以有效地解决梯度消失问题,而且还可以让调试超参数更加简单,在提高训练模型效率的同时,还可让神经网络原创 2020-10-02 00:52:02 · 515 阅读 · 0 评论 -
dropout基本原理详解
何为dropout?Dropout是Srivastava等人在2014年发表的一篇论文中,提出了一种针对神经网络模型的正则化方法Dropout(《A Simple Way to Prevent NeuralNetworks from Overfitting》)。那Dropout在训练模型中是如何实现的呢?Dropout的做法是在训练过程中按一定比例(比例参数可设置)随机忽略或屏蔽一些神经元。这些神经元会被随机“抛弃”,也就是说它们在正向传播过程中对于下游神经元的贡献效果暂时消失了,反向传播时该原创 2020-10-02 00:38:30 · 3356 阅读 · 1 评论 -
jupyter notebook如何安装使用conda中不同的虚拟环境
前言很多人可能都有这样的困惑,一看conda list是各种各样的环境,tensorflow/keras/pytorch等各种,甚至有的项目还是python2.7的版本,想要看一下基本的运行情况,用jupyter notebook跑一下看看,但是却没有办法使用原有的虚拟环境,真是让人难受。今天给大家推荐一个很好用的conda插件,可以自动识别你的虚拟环境,并且支持jupyter note中的kernel切换。我原来的conda虚拟环境如下:安装:进入到对应的虚拟环境中,直接执行如下命令,安装nb原创 2020-06-14 17:42:25 · 1799 阅读 · 5 评论 -
经典NMS算法详解
简介目标检测在使用了基于深度学习的端到端模型后效果斐然。目前,常用的目标检测算法,无论是One-stage的SSD系列算法、YOLO系列算法还是Two-stage的基于RCNN系列的算法,非极大值抑制都是其中必不可少的一个组件。在现有的基于anchor的目标检测算法中,都会产生数量巨大的候选矩形框,这些矩形框有很多是指向同一目标,因此就存在大量冗余的候选矩形框。非极大值抑制算法的目的正在于此,...原创 2020-04-25 00:35:09 · 8475 阅读 · 2 评论 -
深度学习知识梳理(干货满满详解DNN/CNN/RNN)之评估与调参(五)
过拟合、欠拟合 解决方法:原创 2020-04-07 11:55:18 · 684 阅读 · 0 评论 -
深度学习知识梳理(干货满满详解DNN/CNN/RNN)之模型训练(四)
(四)模型训练4.1 学习率4.2 Batch Normalization4.3 Drop-out4.4 权重初始化4.1 学习率(1)什么是学习率?梯度下降法和反向传播算法中的超参数η就是 学习率,它控制着神经网络权值下降的速度(2)为什么要衰减学习率算法优化前期,学习率较大会加速学习, 但后期会造成较大波动,出现围绕最优值 徘徊而无法收敛的情况,因此随着训练的 进行学习率需要逐渐衰...原创 2020-04-07 11:52:25 · 918 阅读 · 0 评论 -
深度学习知识梳理(干货满满详解DNN/CNN/RNN)之深度学习网络模型(三)
(三)深度学习网络模型1 深度神经网络(DNN)、or 全连接神经网络(FCN)1.1 结构1.2 参数更新常见损失函数:系统目标函数(结构化风险收益)1.3 前向传播、反向传播1.4 常见迭代更新的优化算法2 卷积神经网络 (CNN)2.1 简介2.2 结构(1)整体网络结构(2)卷积层基础概念(3)池化层:定义:三种池化的意义:2.3 正向、反向传播2.4 常见经典CNN网络结构3 反馈神经网...原创 2020-04-07 11:46:42 · 4884 阅读 · 0 评论 -
深度学习知识梳理(干货满满详解DNN/CNN/RNN)之深度学习网络结构(二)
(二)深度学习网络结构 前馈网络: 记忆网络: 图网络: 前馈网络:每一层中的神经元接收前一层神经元的输出,并输出到下一层神经元. 整个网络中的信息是朝一个方向传播,没有反向的信息传播,可以用一个有向无环路图表示前馈网络可以看作一个函数,通过简单非线性函数的多次复合,实现输入空间到输出空间的复杂映射. 这种网络结构简单,易于实现 记忆网络:记忆网络,也称为反馈网络,网络中的神...原创 2020-04-07 11:09:11 · 942 阅读 · 0 评论 -
深度学习知识梳理(干货满满详解DNN/CNN/RNN)之神经网络基础(一)
目录大纲(一)神经网络基础1.感知机:2.神经元3.常用激活函数:(1)Sigmoid(2)Relu(3)ELU函数(4)Softplus函数4.常见激活函数及其导数表(一)神经网络基础1.感知机:感知器(Perceptron)由Frank Roseblatt于1957年提出,是一种广泛使用的线性分类器.感知器可谓是最简单的人工神经网络,只有一个神经元(下图MP神经元模型)感知器是对生物...原创 2020-04-07 11:02:39 · 1805 阅读 · 0 评论