特征提取网络
主要是图片特征提取的网络介绍
颐水风华
框架:tensorflow pytorch tensorrt cuda cublas opnecv。
语言:c、c++ python。
展开
-
关于Densenet的改进方法
改进Densenet是一个非常棒的网络结构,但是特别耗费显卡。然后作者给出了解决方法黄高博士及刘壮取得联系两位作者对 DenseNet 的详细介绍及常见疑问解答DenseNet 特别耗费显存?不少人跟我们反映过 DenseNet 在训练时对内存消耗非常厉害。这个问题其实是算法实现不优带来的。当前的深度学习框架对 DenseNet 的密集连接没有很好的支持,我们只能借助于...原创 2020-03-17 13:58:21 · 5781 阅读 · 6 评论 -
MobileNet v1 和 v2
1 MobileNet V1MobileNet是针对移动端优化的卷积,所以当需要压缩模型时,可以考虑使用MobileNet替换卷积。下面我们开始学习MobileNet原理,并且先通过Tensorflow函数接口实现MobileNet,再手写python代码实现MobileNet。1.1 普通卷积MobileNet是用于替换普通卷积,相比普通卷积,MobileNet参数更少,计算速度更快...原创 2019-05-25 14:39:53 · 11500 阅读 · 0 评论 -
论文解读 | DenseNet
tensorflow https://github.com/taki0112/Densenet-Tensorflow 我认为是最好的代码下面抄的,说的很详细,很好,配合我给的代码,很容易看懂。但是在你跑代码的时候,可能报错。自己修改下吧。论文:密集连接卷积网络论文链接:https://arxiv.org/pdf/1608.06993.pdf代码的github链接:ht...转载 2019-12-05 22:26:59 · 487 阅读 · 1 评论 -
特征提取网络 : 目录
下面是我我学的特征提取网络,从加深,变宽,密集,最后回到了轻量化。未来,随着数据的增多,轻量化的模型表现会越来越好,是未来发展的方向。说实话,压缩模型等方法去学习,不如好好理解轻量化的思想。1 重量级网络1.1 Alexnet1.2 vgg系列1.2.1 vgg161.2.2 vgg19 1.3 darknet1...原创 2019-12-04 14:26:40 · 1038 阅读 · 0 评论 -
darknet
在抱歉找不到原文链接了,这是我很久前抄的1 darknet介绍他是yolo v2中的特征提取器,因为它有19层卷积,所以又叫做darknet19。它如下图为他的结构,包括19个卷积层和5个maxpooling层。Darknet-19与VGG16模型设计原则是一致的,主要采用3 * 3卷积,采用2 * 2的maxpooling层之后,特征图维度降低2倍,而同时将特征图的channle...原创 2019-06-08 21:46:16 · 3225 阅读 · 0 评论 -
tensorflow性能调优
1.性能指南当训练一个机器学习模型时,性能是个大问题。该指南包含了一些优化tensorflow代码的最佳实践。分为几个部分:常用最佳实际:覆盖了多种模型类型和硬件的主题 GPU优化:与GPUs相关 CPU优化:CPU相关2.通用最佳实践2.1 input pipeline优化常见模型会从磁盘中抽取数据,进行预处理,然后通过网络发送数据。例如,处理JPEG图片的模型会有下面的流...转载 2019-05-10 13:23:26 · 3128 阅读 · 0 评论 -
weight_decay 与L2 Loss
复制粘贴的https://www.cnblogs.com/xz824/p/10066685.html权重衰减等价于L2范数正则化。正则化通过为模型损失函数添加惩罚项使得学习的模型参数值较小,是常用防止过拟合的常用手段L2范数正则化是在模型原损失函数基础上添加L2范数惩罚项,其中L2范数惩罚项指的是模型权重参数每个元素的平方和与一个正的常数的乘积。比如,对于线性回归损失函数:weight...转载 2019-04-25 10:41:36 · 2538 阅读 · 0 评论 -
LRN-局部相应层
LRN是Local Response Normalization的缩写,局部相应层。这类层应用得并不多,在vgg那个论文中比较网络深度时候有用。局部响应归一层的基本思路是,假如这是网络的一块,比如是 9×9×256,LRN 要做的就是选取一个位置(注意是一个位置),比如说这样一个位置,从这个位置穿过整个通道,能得到 256 个数字,并进行归一化。进行局部响应归一化的动机是,对于这张 9...原创 2019-02-26 12:29:21 · 1365 阅读 · 0 评论 -
机器学习/深度学习中的所有激活函数详解
无论在深度学习还是在机器学习中,激活函数是必不可少的,这里做下总结。修正线性单元 ReluRectified linear unit。深度学习用的最多的3个激活函数之一,为什么说他在深度学习中用的多呢?因为简单,速度快。。下面给出图与公式。输出值范围[0,1)。·特点:计算量小;很多x的左侧都为提高网络的稀疏性,降低过拟合的发生;降低出现梯度为0的机会,从上图不难看出,Re...转载 2019-06-13 11:42:17 · 1260 阅读 · 0 评论 -
感知机
1. 前言感知机是1957年,由Rosenblatt提出会,是神经网络和支持向量机的基础。回到顶部2. 感知机的原理感知机是二分类的线性模型,其输入是实例的特征向量,输出的是事例的类别,分别是+1和-1,属于判别模型。假设训练数据集是线性可分的,感知机学习的目标是求得一个能够将训练数据集正实例点和负实例点完全正确分开的分离超平面。如果是非线性可分的数据,则最后无法获得超平面...转载 2019-06-07 22:39:16 · 385 阅读 · 0 评论 -
深度学习---图像卷积与反卷积(最完美的解释)
1.前言 传统的CNN网络只能给出图像的LABLE,但是在很多情况下需要对识别的物体进行分割实现end to end,然后FCN出现了,给物体分割提供了一个非常重要的解决思路,其核心就是卷积与反卷积,所以这里就详细解释卷积与反卷积。 对于1维的卷积,公式(离散)与计算过程(连续)如下,要记住的是其中一个函数(原函数或者卷积函数)在卷积前要翻转180度图1 对...转载 2019-09-27 12:22:43 · 1974 阅读 · 0 评论 -
mAP
一、mAP相关概念首先要给大家介绍几个常见的模型评价术语,1、正例与负例现在假设我们的分类目标只有两类,计为正例(positive)和负例(negtive),然后我们就能得到如下的四种情况:(1)True positives(TP): 被正确地划分为正例的个数,即实际为正例且被分类器划分为正例的实例数(样本数);(2)False positives(FP): 被错误地划分为正...转载 2019-08-06 10:01:20 · 186 阅读 · 0 评论 -
目标检测之 IoU
IoU 作为目标检测算法性能 mAP 计算的一个非常重要的函数但纵观 IoU 计算的介绍知识,都是直接给出代码,给出计算方法,没有人彻底地分析过其中的逻辑,故本人书写该篇博客来介绍下其中的逻辑。1. IoU的简介及原理解析IoU 的全称为交并比(Intersection over Union),通过这个名称我们大概可以猜到 IoU 的计算方法。IoU 计算的是 “预测的边框” 和 “真...转载 2019-08-06 09:45:12 · 267 阅读 · 0 评论 -
非极大值抑制(Non-Maximum Suppression,NMS)
转载: https://www.cnblogs.com/makefile/p/nms.html概述非极大值抑制(Non-Maximum Suppression,NMS),顾名思义就是抑制不是极大值的元素,可以理解为局部最大搜索。这个局部代表的是一个邻域,邻域有两个参数可变,一是邻域的维数,二是邻域的大小。这里不讨论通用的NMS算法(参考著作权归作者所有。商业转载请联系作者获得授...转载 2019-08-06 09:38:40 · 315 阅读 · 0 评论 -
网络深了会发生什么问题?
其实很不想说这个问题,太小儿科了,但是面试时候,我反驳面试官说的说法,直接失去了offer机会。随着网络层数的增加,训练的问题随之凸显。1 比较显著的问题有梯度消失/爆炸,这会在一开始就影响收敛。1.1 在深层网络能够收敛的前提下,随着网络深度的增加,正确率开始饱和甚至下降,称之为网络的退化(degradation)问题。1.2 在给定的网络上增加层数会增大训练误差。2 ...原创 2019-06-30 22:26:58 · 4294 阅读 · 1 评论 -
深度学习入门;图像的heatMap
作者:liyaohhh原文:https://blog.csdn.net/liyaohhh/article/details/50990927图像的heatMap是什么,一副图片的heatmap可以帮助我们在上面检测到想要的object,如下左图所示: 可以直接的看到,人脸的的区域有红色区域,哈哈,这个时候呢用sliding window在...转载 2019-06-12 12:43:04 · 24042 阅读 · 0 评论 -
如何判断模型过拟合?那些手段解决过拟合?
如何判断模型过拟合?模型在验证集合上和训练集合上表现都很好,而在测试集合上变现很差。过拟合即在训练误差很小,而泛化误差很大,因为模型可能过于的复杂,如何防止过拟合?dropout另一种非常流行的神经网络正则化方法是dropout。这个想法实际上非常简单——神经网络的每个单元(属于输出层的那些单元)都被赋予在计算中被暂时忽略的概率p。超参数p称为丢失率,通常将其默认值设置为0.5。然...转载 2019-06-19 22:28:43 · 36609 阅读 · 12 评论 -
模型的剪枝
剪枝的目标就是只保留重要的权重。全连接层剪枝首先,对于如全连接和局部连接这些没有权值共享的层,我们可以很简单的计算神经元之间的相关性:假设 ai是当前层的一个神经元, 上一层有 K 个神经元,则此时 ai 与上一层之间应该有 K 个连接,即 K 个权重参数: bi1,bi2…biK 。 于是我们可以用下式计算 ai 与每一个 bik的相关系数 :其中 μ和 σ分别...转载 2019-06-02 23:14:44 · 1077 阅读 · 0 评论 -
论文解读 | YOLO v2
目录YOLOv2-darknet 内容解析 1. 改进之处 2. Better 3. Faster 4. Stronger 5. 总结 reference YOLOv2-darknet 内容解析1. 改进之处YOLO v2受到faster rcnn的启发,引入了anchor。同时使用了K-Means方法,对anchor数量进行了讨论,在精度和速度之间做出折中...转载 2019-06-19 11:57:54 · 176 阅读 · 0 评论 -
Faster R-CNN
faster rcnn中的关键知识点解析Anchor:anchor的本质是SPP(spatial pyramid pooling)思想的逆向。而SPP就是将不同尺寸的输入resize成为相同尺寸的输出。所以SPP的逆向就是,将相同尺寸的输出,倒推得到不同尺寸的输入。在RPN中,作者提出了anchor。An...转载 2019-06-04 00:17:43 · 191 阅读 · 0 评论