深度学习Deep learning
文章平均质量分 94
深度学习Deep learning
别说话写代码
这个作者很懒,什么都没留下…
展开
-
感受野大小计算、卷积参数量与计算量、空洞卷积计算量与参数量
感受野大小计算这是 自顶向下方法,也就是从后面向前面计算,初始rf=1比如conv1(f=3x3,s=2), conv2(f=3x3,s=2), conv3(f=3x3,s=1),从后向前最后一层每个点rf=1,(1-1)x1+3=3,也就是最后一层结束每个点的感受野是3倒数第二层 , (3-1)x2+3=7,最后一个点映射到第二层是7的感受野底数第三层,(7-1...原创 2020-05-05 23:39:49 · 4999 阅读 · 5 评论 -
深度学习基础(面经),卷积神经网络基础(面经)
本文内容参考魏秀参《解析卷积神经网络》手写卷积池化代码池化层的反向传播cnn的反向传播 1卷积神经网络基本操作 2卷积神经网络的压缩 3数据扩充 4数据预处理 5网络参数初始化 6激活函数 7目标函数 8网络正则化 9超参数设定和网络训练 10不平衡样本的处理 11模...原创 2020-04-22 22:11:50 · 15640 阅读 · 1 评论 -
Tensorflow 多任务学习
keras代码:https://blog.csdn.net/u012938704/article/details/79904173https://github.com/ahangchen/keras-dogs之前在caffe上实现了两个标签的多任务学习,如今换到了tensorflow,也想尝试一下,总的来说也不是很复杂。建立多任务图多任务的一个特点是单个tensor输入(X),...转载 2018-08-15 09:58:58 · 2083 阅读 · 0 评论 -
行人重识别(ReID)开源代码
转自:https://blog.csdn.net/Layumi1993/article/details/55798568?locationNum=2&fps=1关于行人重识别综述,推荐一下liang zheng 2016年的综述: Past, Present and Future 写了从传统方法到深度学习,从图片到视频的行人重识别的方法。推荐链接:http://www.liangzheng...转载 2018-07-06 11:02:39 · 18494 阅读 · 2 评论 -
吴恩达 深度学习 4-4 课后作业 Art Generation with Neural Network Transfer DL&Art: Neural Style Transfer
Deep Learning & Art: Neural Style TransferWelcome to the second assignment of this week. In this assignment, you will learn about Neural Style Transfer. This algorithm was created by Gatys et al...原创 2018-07-12 17:03:44 · 2165 阅读 · 0 评论 -
FaceNet模型代码 inception_blocks.py
import tensorflow as tfimport numpy as npimport osfrom numpy import genfromtxtfrom keras import backend as Kfrom keras.layers import Conv2D, ZeroPadding2D, Activation, Input, concatenatefrom ker...原创 2018-07-12 11:36:52 · 1857 阅读 · 0 评论 -
吴恩达 深度学习 4-4 课后作业 Face Recognition for the Happy House
Face Recognition for the Happy HouseWelcome to the first assignment of week 4! Here you will build a face recognition system. Many of the ideas presented here are from FaceNet. In lecture, we also tal...原创 2018-07-12 11:16:14 · 1738 阅读 · 0 评论 -
吴恩达 深度学习 4-3 课后作业 Car detection with YOLOv2 Autonomous driving - Car detection
Autonomous driving - Car detectionWelcome to your week 3 programming assignment. You will learn about object detection using the very powerful YOLO model. Many of the ideas in this notebook are desc...原创 2018-07-11 11:45:57 · 2893 阅读 · 7 评论 -
吴恩达 深度学习 4-2 课后作业 Residual Networks
Residual Networks¶Welcome to the second assignment of this week! You will learn how to build very deep convolutional networks, using Residual Networks (ResNets). In theory, very deep networks can repr...原创 2018-07-10 20:00:17 · 2836 阅读 · 0 评论 -
深度学习神经网络训练调参技巧
本文主要介绍8种实现细节的技巧或tricks:数据增广、图像预处理、网络初始化、训练过程中的技巧、激活函数的选择、不同正则化方法、来自于数据的洞察、集成多个深度网络的方法原文如下:http://blog.csdn.net/u013709270/article/details/70949304。 数据增广 在不改变图像类别的情况下,增加数据量,能提高模型的泛化能力。 自然图像的数据增广...转载 2018-10-19 22:52:39 · 2386 阅读 · 0 评论 -
AI领域的State Of the Art最先进的成果
https://www.stateoftheart.ai/?area=Computer%20Vision以及下面内容:转自https://blog.csdn.net/dongfang1984/article/details/785923221. State-of-the-art result for all Machine Learning Problemshttps://githu...原创 2018-12-10 14:24:22 · 2112 阅读 · 0 评论 -
代码实践|通过简单代码来回顾卷积块的历史(Bottleneck,Inception,Residual,ResNeXt,Dense,Squeeze-and-Excitation,NASNet等)
转自:https://mp.weixin.qq.com/s/itfrg597sVB0sa6auF2l_Q作者:Paul-Louis Pröve 我试着定期阅读ML和AI的论文,这是保持不掉队的唯一的方法。作为一个计算机科学家,我常常会在看科学性的文字描述或者是数据公式的时候遇到麻烦。我发现通过代码来理解会好很多。所以,在这篇文章中,我会通过Keras实现的方式,带领大家回顾...转载 2018-12-11 16:31:21 · 2003 阅读 · 0 评论 -
深度学习Epoch、Iteration、Batchsize理解和说明
参考:https://blog.csdn.net/xiaohuihui1994/article/details/80624593 mnist 数据集有 60000 张图片作为训练数据,10000 张图片作为测试数据。现在选择 Batch Size = 100 对模型进行训练。每个 Epoch 要训练的图片数量:60000(训练集上的所有图像)训练集具有的 Batch 个数: 60000/...转载 2018-12-18 17:46:39 · 1185 阅读 · 0 评论 -
pytorch损失函数整理总结
公式:https://blog.csdn.net/lonely_dark_horse/article/details/73800427公式以及案例:https://blog.csdn.net/zhangxb35/article/details/72464152官方文档:https://pytorch.org/docs/stable/nn.html...原创 2019-01-31 13:26:38 · 3407 阅读 · 0 评论 -
深度学习模型压缩与加速方法
大型神经网络具有大量的层级与节点,因此考虑如何减少他们所需要的内存与计算量就显得极为重要,特别对于在线学习和增量学习等实时应用。此外,近来只能可穿戴设备的流行也为研究院提供了在资源(内存,cpu,能耗和带宽等)有限的便携式设备上部署深度学习应用提供了机会。比如resnet50,他有50层卷积网络,超过95M的存储需求和计算每一张图片所需要的浮点数乘法时间。如果剪枝一些冗余的权重后,其大概能节约75...原创 2019-03-05 20:54:07 · 1818 阅读 · 0 评论 -
Group Convolution
Group convolution: 群卷积。群卷积最早出现在alexnet中,作者认为groupconv的方式能够增加filter之间的对角相关性,而且能够减少训练参数,不容易过拟合,类似于正则效果。假设上一层的输出featuremao有N个,也就是N个channel(卷积核)。再假设群卷积的群数目M。那么该卷积层的操作就是,先将channel分为M份,每个group对应N/M个ch...原创 2019-03-06 15:48:27 · 1808 阅读 · 0 评论 -
Group Normalization
GN是针对batch normalization(BN)在batchsize较小时错误率较高而提出的改进算法,因为BN层的计算结果依赖当前batch数据,当batchsize较小时(比如2,4),该batch数据的均值和方差的代表性较差,这样导致的结果较差,因此对最后的结果也影响较大。而在batchsize较大时(>16)没什么差别。在分类任务一般能包含大batch,但在检测分割及视...原创 2019-03-06 15:50:53 · 863 阅读 · 0 评论 -
Depth-wise separable convolution 深度可分卷积
Depth-wise separable convolution :深度分离卷积,出自mobilenet和xception。MobileNet是基于深度可分离卷积的,通俗来说,深度可分离卷积就是:把标准卷积分解成深度卷积(depthwise convolution)和逐点卷积(pointwise convolution)。这么做的好处就是可以再损失精度不多的情况下大幅度降低参数量和计算量。分解...原创 2019-03-06 16:28:48 · 8478 阅读 · 4 评论 -
深度学习网络图画图工具
从 公众号上发现了 总结的深度学习画图工具,很实用:https://mp.weixin.qq.com/s/MMzvZA55Xb2sOA7rJiXiEw1NN-SVG这个工具可以非常方便的画出各种类型的图,是下面这位小哥哥开发的,来自于麻省理工学院弗兰克尔生物工程实验室, 该实验室开发可视化和机器学习工具用于分析生物数据。github地址:https://github.com/zf...转载 2019-03-23 22:10:03 · 33396 阅读 · 4 评论 -
机器学习和深度学习引用量最高的20篇论文(2014-2017)
转自:https://blog.csdn.net/hll174/article/details/69808435机器学习和深度学习的研究进展正深刻变革着人类的技术,本文列出了自 2014 年以来这两个领域发表的最重要(被引用次数最多)的 20 篇科学论文,以飨读者。机器学习,尤其是其子领域深度学习,在近些年来取得了许多惊人的进展。重要的研究论文可能带来使全球数十亿人受益的技术突破。这一领域的研究目...转载 2018-07-03 22:09:41 · 2412 阅读 · 1 评论 -
文献 | 2010-2016年被引用次数最多的深度学习论文(修订版)
转自:https://blog.csdn.net/u010402786/article/details/51682917一、书籍Deep learning (2015)作者:Bengio下载地址:http://www.deeplearningbook.org/二、理论1.在神经网络中提取知识Distilling the knowledge in a neural network作者:G. Hint...转载 2018-07-03 22:08:32 · 693 阅读 · 0 评论 -
深度学习最全优化方法总结比较(SGD,Adagrad,Adadelta,Adam,Adamax,Nadam)
转自:https://zhuanlan.zhihu.com/p/22252270作者:ycszen https://www.zhihu.com/people/yu-chang-qian/activities有个博客总结的非常好。见http://ruder.io/optimizing-gradient-descent/前言 (标题不能再中二了)本文仅对一些常见的优化方法进行直观介绍和简单的比较,...转载 2018-05-10 17:49:33 · 5600 阅读 · 2 评论 -
神经网络优化算法选择
本文转自:https://blog.csdn.net/ybdesire/article/details/51792925优化算法解决优化问题,有很多算法(最常见的就是梯度下降),这些算法也可以用于优化神经网络。每个深度学习库中,都包含了大量的优化算法,用于优化学习速率,让网络用最快的训练次数达到最优,还能防止过拟合。 keras中就提供了这样一些优化器[1]:SGD:随机梯度下降SGD+Momen...转载 2018-05-09 10:56:53 · 647 阅读 · 0 评论 -
深度学习-----数据预处理
转自:https://blog.csdn.net/dcxhun3/article/details/47999281通过最近一段深度学习的学习与实现,发现数据预处理在深度学习中是非常重要的。数据归一化数据预处理中,标准的第一步是数据归一化。虽然这里有一系列可行的方法,但是这一步通常是根据数据的具体情况而明确选择的。特征归一化常用的方法包含如下几种:简单缩放逐样本均值消减(也称为移除直流分量)特征标准...转载 2018-05-08 21:57:02 · 1792 阅读 · 0 评论 -
吴恩达 深度学习 课后作业 1-2 Python Basics with Numpy (optional assignment)
Python Basics with Numpy (optional assignment)¶Welcome to your first assignment. This exercise gives you a brief introduction to Python. Even if you've used Python before, this will help familiarize原创 2017-11-13 10:03:34 · 1935 阅读 · 0 评论 -
吴恩达 深度学习 1-3 课后作业 Planar data classification with one hidden layer
Planar data classification with one hidden layerWelcome to your week 3 programming assignment. It's time to build your first neural network, which will have a hidden layer. You will see a big differ原创 2017-11-24 16:53:49 · 3531 阅读 · 2 评论 -
吴恩达 深度学习 1-4 课后作业2 Deep Neural Network for Image Classification: Application
Deep Neural Network for Image Classification: ApplicationWhen you finish this, you will have finished the last programming assignment of Week 4, and also the last programming assignment of this cour原创 2017-11-27 00:27:19 · 3955 阅读 · 0 评论 -
吴恩达深度学习1-4课后作业1 Building your Deep Neural Network: Step by Step
Building your Deep Neural Network: Step by StepWelcome to your week 4 assignment (part 1 of 2)! You have previously trained a 2-layer Neural Network (with a single hidden layer). This week, you will原创 2017-11-24 23:43:29 · 2670 阅读 · 2 评论 -
深度学习 吴恩达 课后作业1-2 Logistic Regression with a Neural Network mindset
深度学习 神经网络 课后作业 吴恩达 逻辑回归原创 2017-11-13 18:19:29 · 1166 阅读 · 0 评论 -
深度学习图像数据增强data augmentation
本文转自:http://www.cnblogs.com/gongxijun/p/6117588.html在图像的深度学习中,为了丰富图像训练集,更好的提取图像特征,泛化模型(防止模型过拟合),一般都会对数据图像进行数据增强,数据增强,常用的方式,就是旋转图像,剪切图像,改变图像色差,扭曲图像特征,改变图像尺寸大小,增强图像噪音(一般使用高斯噪音,盐椒噪音)等.但是需要注意,不要加入其他图像轮廓的噪...转载 2018-05-04 15:36:52 · 7442 阅读 · 5 评论 -
深度学习框架Keras使用心得
本文转自:https://blog.csdn.net/xjcvip007/article/details/52801216最近几个月为了写小论文,题目是关于用深度学习做人脸检索的,所以需要选择一款合适的深度学习框架,caffe我学完以后感觉使用不是很方便,之后有人向我推荐了Keras,其简单的风格吸引了我,之后的四个月我都一直在使用Keras框架,由于我用的时候,tensorflow的相关教程还不...转载 2018-05-07 17:52:03 · 1421 阅读 · 0 评论 -
吴恩达 深度学习 4-2 课后作业 Keras tutorial - the Happy House
Keras tutorial - the Happy House¶Welcome to the first assignment of week 2. In this assignment, you will:Learn to use Keras, a high-level neural networks API (programming framework), written in Python...原创 2018-07-10 12:37:50 · 1522 阅读 · 8 评论 -
吴恩达 深度学习 4-1 课后作业 Convolutional Neural Networks: Application
Convolutional Neural Networks: Application¶Welcome to Course 4's second assignment! In this notebook, you will:Implement helper functions that you will use when implementing a TensorFlow model Im...原创 2018-07-10 10:39:21 · 1572 阅读 · 6 评论 -
吴恩达 深度学习 4-1 课后作业 Convolutional Neural Networks: Step by Step
Convolutional Neural Networks: Step by Step¶Welcome to Course 4's first assignment! In this assignment, you will implement convolutional (CONV) and pooling (POOL) layers in numpy, including both for...原创 2018-07-09 14:28:14 · 1354 阅读 · 3 评论 -
深度神经网络实践经验
原文链接:https://pcc.cs.byu.edu/2017/10/02/practical-advice-for-building-deep-neural-networks/点击打开链接(需要翻墙)https://github.com/leidaguo/Practical-advise-for-building-deep-neural-network-...原创 2018-07-02 15:33:22 · 361 阅读 · 0 评论 -
深度学习训练的小技巧,调参经验。总结与记录。
Ilya Sutskever(Hinton的学生)讲述了有关深度学习的见解及实用建议:获取数据:确保要有高质量的输入/输出数据集,这个数据集要足够大、具有代表性以及拥有相对清楚的标签。缺乏数据集是很难成功的。预处理:将数据进行集中是非常重要的,也就是要使数据均值为0,从而使每个维度的每次变动为1。有时,当输入的维度随量级排序变化时,最好使用那个维度的log(1+x)。基本上,重要的是要找到一个0值...转载 2018-05-14 23:03:29 · 929 阅读 · 0 评论 -
keras参数调优
转自:https://blog.csdn.net/wang1127248268/article/details/77200639本文主要想为大家介绍如何使用scikit-learn网格搜索功能,并给出一套代码实例。你可以将代码复制粘贴到自己的项目中,作为项目起始。下文所涉及的议题列表:如何在scikit-learn模型中使用Keras。如何在scikit-learn模型中使用网格搜索。如何调优批尺...转载 2018-05-08 09:42:10 · 1014 阅读 · 0 评论 -
[深度学习] 模型集成方法
本文转自:https://blog.csdn.net/siyue0211/article/details/80334924模型集成方法集成学习(ensemble learning)是机器学习中一类学习算法,值训练多个学习器并将它们组合起来使用的方法。这类算法通常在实践中会取得比单个学习器更好的预测结果。数据层面的集成方法在训练阶段的数据扩充在测试阶段仍然使用。 诸如图像多尺度, 随机扣取等。以随机...转载 2018-05-21 10:15:15 · 9201 阅读 · 0 评论 -
keras面向小数据集的图像分类(VGG-16基础上fine-tune)实现(附代码)
转自:https://blog.csdn.net/caanyee/article/details/52502759原文地址:http://blog.keras.io/building-powerful-image-classification-models-using-very-little-data.html参考译文地址:http://keras-cn.readthedocs.io/en/lat...转载 2018-05-07 21:22:12 · 5843 阅读 · 7 评论