Deep Learning
文章平均质量分 94
静待花开s0
If you find a path with no obstacles, it probably doesn't lead anywhere.
展开
-
目标检测知识集锦(一)
1. 写在前面目标识别算法是所有目标检测算法的核心。目标识别算法是指在一张给定的图像中识别出给定的物体。将整张图像作为输入,然后输出类别的标签并给出图像中出现物体的概率。目标检测任务不仅仅要返回图像中主要包含那些物体,而且还要返回该图像中包含了多少物体,以及目标的位置(一般用 BoundingBox进行标注)。2. 关于DPM算法(Deformable Parts Model)1、产生多个模板,整体模板以及不同的局部模板;2、拿这些不同的模板同输入图像“卷积”产生特征图;3、将这些特原创 2020-10-26 20:21:11 · 491 阅读 · 1 评论 -
python 深度学习框架 Chainer 介绍
基于Python的深度学习HOME ABOUT ARCHIVE MILESTONE 链接Chainer介绍Chainer 介绍Posted by 徐志平 on December 14, 2017Chainer 介绍这里是 Chainer 教程的第一部分。 在此部分中,您将学习如下内容:现行框架的优缺点以及我们为什么开发 Chainer 前向以及反向计算的简单的例子 连接的使用以及梯度计算 chains 的构建(即. 大多数框架所指的“模型”) 参数优化 连接和优.转载 2020-05-27 09:22:37 · 7004 阅读 · 1 评论 -
【python3】keras可视化出错相关解决方案
【python3】keras可视化出错,"dot.exe" not found in path和pydot failed to call GraphVizhttps://blog.csdn.net/chadian3912/article/details/81976956AttributeError: module 'os' has no attribute 'errno'https://blog.csdn.net/weixin_43137080/article/details/82426179原创 2020-05-24 22:45:52 · 4040 阅读 · 0 评论 -
ImportError: Failed to import `pydot`. Please install `pydot`. For example with `pip install pydot`
keras可视化网络结构报错ImportError: Failed to import `pydot`. Please install `pydot`. For example with `pip install pydot`解决方案:安装如上三个package,使用pip install 即可pydot pydotplus graphviz原创 2020-05-24 22:01:16 · 3881 阅读 · 0 评论 -
LSTM 学习理解
一年前看LSTM,感觉非常复杂难理解,如今再看,感觉似乎简单清晰了许多,此处做个简单记录。LSTM来自一篇论文:github链接如下:https://colah.github.io/posts/2015-08-Understanding-LSTMs/其实,说白了,LSTM就是一个复杂点的RNN,把RNN中的cell做了替换,就成了LSTM。之所以要替换cell,是因为RNN不能解决长期依赖问题,简单说,就是循环迭代次数太多,导致RNN忘了太久之前的信息,而LSTM对之前的信息进行了选择性原创 2020-05-23 10:14:56 · 3386 阅读 · 0 评论 -
各种神经网络基本结构一览(图)
花花绿绿真好看~原创 2020-04-25 14:55:38 · 4624 阅读 · 0 评论 -
Numpy中的填充,np.pad()
1.np.zeros_like()函数主要是想实现构造一个矩阵W_update,其维度与矩阵W一致,并为其初始化为全0;这个函数方便的构造了新矩阵,无需参数指定shape大小;2. Counter()3.np.argmax()4.matplotlib命令与格式:标题(title),标注(annotate),文字说明(text)...原创 2020-03-27 16:03:58 · 3189 阅读 · 0 评论 -
关于深度学习中的Highway Network
论文链接:https://arxiv.org/abs/1505.00387参考:Hightway Networks学习笔记https://blog.csdn.net/sinat_35218236/article/details/73826203Highway Networks - zenRRan的文章:https://zhuanlan.zhihu.com/p/38130339...原创 2020-03-25 21:26:52 · 2004 阅读 · 0 评论 -
为什么神经网络模型在测试集上的准确率高于训练集上的准确率?
类似下图:或者下图:来自:吴恩达机器学习Regularization部分。如上图所示,有时候我们做训练的时候,会得到测试集的准确率或者验证集的准确率高于训练集的准确率,这是什么原因造成的呢?经过查阅资料,有以下几点原因,仅作参考,不对的地方,请大家指正。(1)数据集太小的话,如果数据集切分的不均匀,或者说训练集和测试集的分布不均匀,如果模型能够正确捕捉到数据内部的分布模式话...原创 2020-03-21 17:28:37 · 11318 阅读 · 6 评论 -
卷积神经网络中的1x1卷积核
前言在介绍卷积神经网络中的1x1卷积之前,首先回顾卷积网络的基本概念[1]。1. 卷积核(convolutional kernel):可以看作对某个局部的加权求和;它是对应局部感知,它的原理是在观察某个物体时我们既不能观察每个像素也不能一次观察整体,而是先从局部开始认识,这就对应了卷积。卷积核的大小一般有1x1,3x3和5x5的尺寸(一般是奇数x奇数)。卷积核的个数就对应输...转载 2020-03-19 23:09:11 · 1870 阅读 · 0 评论 -
深度学习中single crop / multiple crops evaluation/test 是什么意思
最近在ResNet论文中看到了标准的10-crop测试,此处小记一下。对于一个分类网络,在测试阶段,使用single crop/multiple crop得到的结果是不一样的,相当于将测试图像做数据增强。shicaiyang(星空下的巫师)说[1],训练的时候当然随机剪裁,但测试的时候有技巧:单纯将测试图像resize到某个尺度(例如256xN),选择其中center cro...原创 2020-03-16 15:23:57 · 3138 阅读 · 0 评论 -
深度学习中的FLOPs是什么?如何计算的?
1.区分FLOPs和FLOPSFLOPS:注意全大写,是floating point operations per second的缩写,意指每秒浮点运算次数,理解为计算速度。是一个衡量硬件性能的指标。FLOPs:注意s小写,是floating point operations的缩写(s表复数),意指浮点运算数,理解为计算量。可以用来衡量算法/模型的复杂度。注意在深度学习中,我们用的是F...原创 2020-03-16 14:13:21 · 26012 阅读 · 4 评论 -
ReLU激活函数(线性整流函数)
起源在深度神经网络中,通常使用一种叫修正线性单元(Rectified linear unit,ReLU)作为神经元的激活函数。ReLU起源于神经科学的研究:2001年,Dayan、Abott从生物学角度模拟出了脑神经元接受信号更精确的激活模型,如下图:其中横轴是时间(ms),纵轴是神经元的放电速率(Firing Rate)。同年,Attwell等神经科学家通过研究大脑的能量消耗过程,推...转载 2020-01-22 23:34:22 · 4044 阅读 · 0 评论 -
Imagenet与ILSVRC数据集介绍
官网:http://www.image-net.org/数据集下载地址:http://www.image-net.org/challenges/LSVRC/IMAGENET Large Scale Visual Recognition Challenge(ILSVRC)1. 基本介绍从2010年开始,每年举办的ILSVRC图像分类和目标检测大赛。Imagenet数据集是目前...原创 2020-01-22 23:12:02 · 7550 阅读 · 2 评论 -
AlexNet论文翻译及阅读笔记《ImageNet Classification with Deep Convolutional Neural Networks》
ImageNet Classification with Deep Convolutional Neural Networks论文下载链接:https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf摘要我们训练了一个大型深度卷积神经网络来将Im...转载 2020-01-21 22:14:52 · 1266 阅读 · 0 评论 -
什么是图像分类的Top-5和Top-1错误率
第一次听到top-5错误率,是在CV课上老师讲的,今天又在ImageNet论文上看到了,所以小记一下。简述通俗的讲,所谓Top-1 error-rate就是使用预测结果和正确结果进行对比,如果相同则表示预测正确!相比而言,Top-5 error-rate 就是使用预测结果的Top-5(分类结果标签的前五个)与正确结果进行对比,如果五个之中有一个正确那么就认为分类器预测结果正确。...原创 2020-01-21 21:24:48 · 3081 阅读 · 0 评论 -
Attention Mechanism Bahdanau attention vs Luong attention
Attention MechanismCan I have your Attention please! The introduction of the Attention Mechanism in deep learning has improved the success of various models in recent years, and continues to be an...转载 2019-12-11 19:53:45 · 1472 阅读 · 0 评论 -
cornell movie-dialogs corpus 康奈尔大学电影对话语料介绍及下载 可用于dialog,chatbot
数据集地址:http://www.cs.cornell.edu/~cristian/Cornell_Movie-Dialogs_Corpus.html数据集介绍这个公开的资源被很多和自然语言处理NLP相关的开源代码和论文提到,所以仔细阅读了readme,并记录相关要点所有文件以" +++$+++ "分隔符- movie_titles_metadata.txt-...原创 2019-12-10 19:52:08 · 2542 阅读 · 0 评论 -
深度学习进阶学习LeNet、AlexNet、GoogLeNet、VGG、ResNetInception-ResNet-v2
一、引言: 2006年Hinton他们的Science Paper再次引起人工神经网络的热潮,当时提到,2006年虽然Deep Learning的概念被提出来了,但是学术界的大家还是表示不服。当时有流传的段子是Hinton的学生在台上讲paper时,台下的机器学习大牛们不屑一顾,质问你们的东西有理论推导吗?有数学基础吗?搞得过SVM之类吗?回头来看,就算是真的,大牛们也确实不算无理...原创 2019-11-30 10:34:14 · 506 阅读 · 0 评论 -
深度学习之CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)概念区分理解
背景我们知道,目前,深度学习十分热门,深度学习在搜索技术,数据挖掘,机器学习,机器翻译,自然语言处理,多媒体学习,语音,推荐和个性化技术,以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动,解决了很多复杂的模式识别难题,使得人工智能相关技术取得了很大进步。从广义上来说,NN(或是更美的DNN)可以认为包含了CNN、RNN这些具体的变种形式。神经网络技术起源于上世纪五...原创 2019-11-29 11:41:05 · 4226 阅读 · 1 评论 -
Keras 学习笔记(二)什么是Keras?为什么要使用Keras?
为什么选择 Keras?在如今无数深度学习框架中,为什么要使用 Keras 而非其他?以下是 Keras 与现有替代品的一些比较。Keras 优先考虑开发人员的经验 Keras 是为人类而非机器设计的 API。Keras 遵循减少认知困难的最佳实践: 它提供一致且简单的 API,它将常见用例所需的用户操作数量降至最低,并且在用户错误时提供清晰和可操作的反馈。 这使 Kera...原创 2019-11-25 08:30:46 · 3217 阅读 · 1 评论 -
Keras 学习笔记(一)编码与简单快速上手
1. 使用Keras对类别进行编码,如one-hot参考keras中to_categorical函数解析简单来说,to_categorical就是将类别向量转换为二进制(只有0和1)的矩阵类型表示。其表现为将原有的类别向量转换为独热编码的形式。先上代码看一下效果:from keras.utils.np_utils import *#类别向量定义b = [0,1,2,3,4,5,...原创 2019-11-25 08:26:56 · 494 阅读 · 0 评论 -
深度学习——优化器算法Optimizer详解(BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam)
论文链接:https://arxiv.org/pdf/1609.04747.pdf参考文章:https://www.cnblogs.com/guoyaohua/p/8542554.html原创 2019-09-08 21:06:27 · 599 阅读 · 0 评论 -
Sequence to Sequence Learning with Neural Networks
论文地址:https://arxiv.org/abs/1409.3215参考译文:https://blog.csdn.net/qq_28385535/article/details/86421359参考笔记:1.https://blog.csdn.net/qq_35647180/article/details/53576809 2.https://bl...原创 2019-09-08 20:20:36 · 1158 阅读 · 0 评论 -
机器学习和深度学习中的一些名词
机器学习和深度学习中的一些名词1.训练集,测试集和验证集比较训练集作用:估计模型学习样本数据集,通过匹配一些参数来建立一个分类器。建立一种分类的方式,主要是用来训练模型的。验证集作用:确定网络结构或者控制模型复杂程度的参数对学习出来的模型,调整分类器的参数,如在神经网络中选择隐藏单元数。验证集还用来确定网络结构或者控制模型复杂程度的参数。测试集作用:检验最终选择...原创 2019-04-15 10:08:46 · 469 阅读 · 0 评论 -
超参数
在机器学习的上下文中,超参数是在开始学习过程之前设置值的参数,而不是通过训练得到的参数数据。通常情况下,需要对超参数进行优化,给学习机选择一组最优超参数,以提高学习的性能和效果。在机器学习的上下文中,超参数是在开始学习过程之前设置值的参数。 相反,其他参数的值通过训练得出。超参数: 定义关于模型的更高层次的概念,如复杂性或学习能力。 不能直接从标准模型培训过程中的数据中学习...原创 2019-04-22 08:44:00 · 776 阅读 · 0 评论