深度学习相关
文章平均质量分 61
快乐成长吧
努力努力再努力!
展开
-
【迁移学习】
总览图4月21日 ,迁移学习,2017年很火,以为会研究的越来越多,实则现在初了Fine-tune在用的话,其余貌似不在工业界被使用(只是感觉,没有出处,大家自我辨识)主要是想知道一般迁移学习有哪些方式和应用,在工业界用的多的还是Fine-tune 和Domain-adversarial training (域对抗)ppt如下:【0】前言【1】模型F...原创 2020-04-21 20:14:36 · 327 阅读 · 0 评论 -
【转载大佬】深度学习模型压缩与加速综述
深度学习模型压缩和加速算法的三个方向,分别为加速网络结构设计、模型裁剪与稀疏化、量化加速目前在深度学习领域分类两个派别,一派为学院派,研究强大、复杂的模型网络和实验方法,为了追求更高的性能;另一派为工程派,旨在将算法更稳定、高效的落地在硬件平台上,效率是其追求的目标。复杂的模型固然具有更好的性能,但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。所以,卷积神经网络日...原创 2019-06-13 11:23:31 · 479 阅读 · 0 评论 -
深度学习中的batch、epoch、iteration的含义+在线学习+dropout
dropout会使得收敛速度变慢,但是会防止我们过拟合。什么时候用dropout?当我们用的大模型,goolenet等模型,但是我们自己准备的样本很少,避免过拟合情况,所以这个时候dropout起到了很关键的作用了。深度学习的优化算法,说白了就是梯度下降。每次的参数更新有两种方式。第一种,遍历全部数据集算一次损失函数,然后算函数对各个参数的梯度,更新梯度。这种方法每更新一次参数...原创 2019-02-08 22:35:20 · 314 阅读 · 0 评论 -
One-hot 的两种方法
Preliminaries# Load librariesimport numpy as npimport pandas as pdfrom sklearn.preprocessing import LabelBinarizerCreate Data With One Class Label# Create NumPy arrayx = np.array([['Texas...原创 2018-12-16 23:06:36 · 805 阅读 · 0 评论 -
【深度学习】说一说深度学习的weight initialization
先说一下干吗了?感谢:https://zhuanlan.zhihu.com/p/34879333Batch Normalization原理与实战https://www.leiphone.com/news/201703/3qMp45aQtbxTdzmK.html谷歌工程师:聊一聊深度学习的weight initialization 深度学习模型训练的过程本质是...原创 2018-12-10 20:01:21 · 628 阅读 · 0 评论 -
空洞卷积
空洞卷积空洞卷积(atrous convolutions)又名扩张卷积(dilated convolutions),向卷积层引入了一个称为 “扩张率(dilation rate)”的新参数,该参数定义了卷积核处理数据时各值的间距。卷积核为3、扩张率为2和无边界扩充的二维空洞卷积一个扩张率为2的3×3卷积核,感受野与5×5的卷积核相同,而且仅需要9个参数。你可以把它...原创 2018-11-26 22:59:46 · 456 阅读 · 0 评论 -
【转置卷积】当想用通过学习来进行上采样的时候
反卷积(Deconvolution)的概念第一次出现是Zeiler在2010年发表的论文Deconvolutional networks中,但是并没有指定反卷积这个名字,反卷积这个术语正式的使用是在其之后的工作中(Adaptive deconvolutional networks for mid and high level feature learning)。随着反卷积在神经网络可视化上的成功应...原创 2018-11-26 16:03:55 · 2599 阅读 · 0 评论 -
边框回归(Bounding Box Regression)详解
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zijin0802034/article/details/77685438Bounding-Box regression最近一直看检测有关的Paper, 从rcnn, fast rcnn, faster rcnn, yolo, r-fcn, ssd,到今年cvpr最新的yolo9000。这些p...原创 2018-09-10 09:46:48 · 1587 阅读 · 1 评论 -
SPP-Net 是怎么让 CNN 实现输入任意尺寸图像的?
ECCV2014Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition解决的问题: there is a technical issue in the training and testing of the CNNs: the prevalent CNNs require afixedinp...原创 2018-09-09 23:01:24 · 2715 阅读 · 1 评论 -
为什么CNN需要固定输入图像的尺寸(CNN图像尺寸输入限制问题)
通过CNN组成(卷积层和全连接层)进行分析。(1)卷积层 卷积层对于图像是没有尺寸限制要求的。输入图像是28*28,卷积仅于自身的卷积核大小,维度有关,输入向量大小对其无影响(如第一层卷积,输入图像的大小和维度)。# 输入图像x = tf.placeholder(tf.float32, [None, 784])y_ = tf.placeholder(tf.float32, [No...原创 2018-09-09 22:56:03 · 8505 阅读 · 0 评论 -
NIN与1×1卷积核的关系
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/haolexiao/article/details/77073258前天去面某公司的AI部门,被问到了关于1×1卷积核的相关问题,因为之前没有了解过,所以也没有答上来,回来查阅了相关资料,特此总结一番。1×1的卷积核卷积核在CNN中经常被用到,一般常见的是3×3的或者5×5的,见下图,...原创 2018-09-04 18:38:56 · 1579 阅读 · 0 评论 -
Maxout网络学习
Maxout网络学习原文地址:http://blog.csdn.net/hjimce/article/details/50414467作者:hjimce一、相关理论 本篇博文主要讲解2013年,ICML上的一篇文献:《Maxout Networks》,这个算法我目前也很少用到,个人感觉最主要的原因应该是这个算法参数个数会成k倍增加(k是maxout的一个参数),不过没关系,对...原创 2018-09-04 18:08:07 · 204 阅读 · 0 评论 -
长文揭秘图像处理和卷积神经网络架构
作者:机器之心链接:https://www.zhihu.com/question/39022858/answer/203073911来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。转机器之心的《机器视角:长文揭秘图像处理和卷积神经网络架构》这个值得看,作为科普扫盲用,看了就能懂,唯一遗憾就是没有说明白怎么把最后的池化层和全连接层进行连接,以及作为全连接层...原创 2018-08-22 20:39:14 · 273 阅读 · 0 评论 -
Dropout解决过拟合问题
转自:https://zhuanlan.zhihu.com/p/23178423这篇也属于 《神经网络与深度学习总结系列》,最近看论文对Dropout这个知识点有点疑惑,就先总结以下。(没有一些基础可能看不懂,以后还会继续按照正常进度写总结)是什么?假设我们要训练这样一个神经网络输入是x输出是y,正常的流程是:我们首先把x通过网络前向传播然后后把误差反向传播以决定 如何更...原创 2018-08-22 16:54:39 · 1705 阅读 · 0 评论 -
Batch Normalization(2015年提出)
视频:https://www.youtube.com/watch?v=BZh1ltr5Rkg 李毅宏老师先放一张Batch Normaliztion的优点:学习了BN,偷懒,把别人的拿来做下总结啦。Batch Normalization 学习笔记原文地址:http://blog.csdn.net/hjimce/article/details/50866313作者:hji...原创 2018-08-22 15:53:51 · 1604 阅读 · 0 评论 -
详解梯度下降法的三种形式BGD、SGD以及MBGD
转自:https://zhuanlan.zhihu.com/p/25765735在应用机器学习算法时,我们通常采用梯度下降法来对采用的算法进行训练。其实,常用的梯度下降法还具体包含有三种不同的形式,它们也各自有着不同的优缺点。下面我们以线性回归算法来对三种梯度下降法进行比较。一般线性回归函数的假设函数为:对应的损失函数为:(这里的1/2是为了后面求导计算方便...原创 2018-08-22 15:25:50 · 465 阅读 · 0 评论