深度学习
文章平均质量分 94
三更灯火五更鸡
这个作者很懒,什么都没留下…
展开
-
caffe:利用python分类,并可视化模型参数、数据
caffe官方文档:http://nbviewer.jupyter.org/github/BVLC/caffe/blob/master/examples/00-classification.ipynb1准备工作1.1 安装python,numpy,matplotlib[cpp] view plain copy #安装python、numpy、matplo转载 2017-05-30 23:06:36 · 1396 阅读 · 0 评论 -
Define a model in Python
Define a model in PythonIt is also possible to define the net model directly in Python, and save it to a prototxt files. Here are the commands :from caffe import layers as Lfrom caffe imp转载 2016-11-08 23:11:02 · 478 阅读 · 0 评论 -
Deep learning tutorial on Caffe technology : basic commands, Python and C++ code.
UPDATE! : my Fast Image Annotation Tool for Caffe has just been released ! Have a look !Caffe is certainly one of the best frameworks for deep learning, if not the best.Let’s try to put things转载 2016-11-08 23:10:28 · 732 阅读 · 0 评论 -
caffe python layer
caffe的大多数层是由c++写成的,借助于c++的高效性,网络可以快速训练。但是我们有时候需要自己写点输入层以应对各种不同的数据输入,比如你因为是需要在图像中取块而不想写成LMDB,这时候可以考虑使用python直接写一个层。而且输入层不需要GPU加速,所需写起来也比较容易。python层怎么用先看一个网上的例子吧(来自http://chrischoy.github.io/res转载 2016-11-08 23:07:24 · 873 阅读 · 0 评论 -
caffe python layer
caffe的大多数层是由c++写成的,借助于c++的高效性,网络可以快速训练。但是我们有时候需要自己写点输入层以应对各种不同的数据输入,比如你因为是需要在图像中取块而不想写成LMDB,这时候可以考虑使用Python直接写一个层。而且输入层不需要GPU加速,所需写起来也比较容易。python层怎么用先看一个网上的例子吧(来自http://chrischoy.github.io/res转载 2016-11-08 23:03:56 · 467 阅读 · 0 评论 -
在Caffe中使用Python Layer
Caffe通过Boost中的Boost.Python模块来支持使用Python定义Layer:使用C++增加新的Layer繁琐、耗时而且很容易出错开发速度与执行速度之间的trade-off编译支持Python Layer的Caffe如果是首次编译,修改Caffe根目录下的Makefile.cinfig,uncomment1W转载 2016-11-08 23:01:43 · 10108 阅读 · 2 评论 -
如何在caffe中添加新的Layer
本文分为两部分,先写一个入门的教程,然后再给出自己添加maxout与NIN的layer的方法(一)其实在Github上已经有答案了(https://github.com/BVLC/caffe/issues/684)Here's roughly the process I follow.Add a class declaration for your la转载 2016-11-08 22:48:39 · 510 阅读 · 0 评论 -
神经⽹络与深度学习 Neural Networks and Deep Learning
http://neuralnetworksanddeeplearning.com/关于作者http://michaelnielsen.org/Referencehttp://en.wikipedia.org/wiki/Frank_Rosenblatt感知器在 20 世纪五、六⼗年代由科学家 Fr转载 2016-10-27 20:37:30 · 2261 阅读 · 0 评论 -
RELU 激活函数及其他相关的函数
本博客仅为作者记录笔记之用,不免有很多细节不对之处。还望各位看官能够见谅,欢迎批评指正。更多相关博客请猛戳:http://blog.csdn.net/cyh_24如需转载,请附上本文链接:http://blog.csdn.net/cyh_24/article/details/50593400日常 coding 中,我们会很自然的使用一些激活函数,比如:sigmo转载 2016-10-27 20:04:32 · 667 阅读 · 0 评论 -
神经网络为什么要归一化
用神经网络的小伙伴都知道,数据需要做归一化,但是为什么要做归一化,这个问题一直模梭两可,网上也没有较全的回答,小编花费了一段时间,作了一些研究,给大家仔细分析分析,为什么要做归一化:1.数值问题。 无容置疑,归一化的确可以避免一些不必要的数值问题。输入变量的数量级未致于会引起数值问题吧,但其实要引起也并不是那么困难。因为tansig的转载 2016-10-17 21:01:33 · 22534 阅读 · 0 评论 -
Caffe for Python 官方教程(翻译)
导言 本教程中,我们将会利用Caffe官方提供的深度模型——CaffeNet(该模型是基于Krizhevsky等人的模型的)来演示图像识别与分类。我们将分别用CPU和GPU来进行演示,并对比其性能。然后深入探讨该模型的一些其它特征。1、准备工作 1.1 首先,安装Python,numpy以及matplotlib。 #安装Python环境、nump转载 2016-11-08 11:45:57 · 921 阅读 · 0 评论 -
Caffe源码(一):math_functions 分析
目录主要函数caffe_cpu_gemm 函数caffe_cpu_gemv 函数caffe_axpy 函数caffe_set 函数caffe_add_scalar 函数caffe_copy 函数caffe_scal 函数caffeine_cup_axpby 函数caffe_add caffe_sub caffe_mul caffe_div 函数caffe_powx caffe_sq转载 2016-11-07 20:29:48 · 457 阅读 · 0 评论 -
Hinton关于RBM的代码注解之(一)rbm.m
这个是Hinton关于RBM的pre-training的代码。源代码网址:http://www.cs.toronto.edu/~hinton/MatlabForSciencePaper.html%%%%%%%%%%%%%%rbm.mepsilonw = 0.1; % Learning rate for weights epsilonvb转载 2016-10-26 21:28:45 · 642 阅读 · 0 评论 -
momentum 深度学习
momentum是用来修改检索方向加快收敛速度的一种简单方法,一般的通过加入之前的梯度来修改更新梯度步长: 表示当前计算出来的梯度,表示上一次的梯度值,表示本次需要更新的梯度值,α表示momentum系数,是用来加权之前梯度方向对现在梯度下降方向的影响。一般的momentum系数从0.5--0.99转载 2016-10-28 14:24:11 · 1507 阅读 · 0 评论 -
An overview of gradient descent optimization algorithms
19 Jan 2016 in OPTIMIZATION DEEP LEARNING SGD ~ 20 min read.An overview of gradient descent optimization algorithmsTable of contents:Gradient descent variantsBatch grad转载 2016-10-28 14:58:25 · 459 阅读 · 0 评论 -
An overview of gradient descent optimization algorithms
前言这里讨论的优化问题指的是,给定目标函数f(x),我们需要找到一组参数x,使得f(x)的值最小。本文以下内容假设读者已经了解机器学习基本知识,和梯度下降的原理。SGDSGD指stochastic gradient descent,即随机梯度下降。是梯度下降的batch版本。对于训练数据集,我们首先将其分成n个batch,每个batch包含m个样本。我们每次转载 2016-10-28 14:59:46 · 465 阅读 · 0 评论 -
NLP+VS︱深度学习数据集标注工具、图像语料数据库、实验室搜索ing...
~~因为不太会使用OpenCV、matlab工具,所以在找一些比较简单的工具。. .一、NLP标注工具BRATBRAT是一个基于web的文本标注工具,主要用于对文本的结构化标注,用BRAT生成的标注结果能够把无结构化的原始文本结构化,供计算机处理。利用该工具可以方便的获得各项NLP任务需要的标注语料。以下是利用该工具进行命名实体识别任务的标注例子。WeTest舆情团队在转载 2017-05-30 22:40:52 · 6719 阅读 · 1 评论 -
深度学习python图像标记工具labelTool
深度学习训练需要标记图像位置和类别,之前用的时候是叫做BBox-Label-Tool-master,遇到大图像就显示不完整了,没有自适应缩放, 这是改进后的Python脚本。目录结构:图片目录名images, 标签目录名labels,图像目录下各类别目录名要以001,002,003,...的格式命名。这是运行labelTool ( python main.py)时的截屏转载 2017-05-30 22:37:24 · 3681 阅读 · 0 评论 -
deeplearning cbir
图像检索:基于深度学习的CBIRDL用于CBIR这类文章还是挺少的。下面是自己搜集到的DL用于CBIR方面的一些文章。Deep Learning for Content-Based Image Retrieval:A Comprehensive StudyNeural Codes for Image RetrievalSupervised Hashing f转载 2016-11-01 23:04:07 · 679 阅读 · 0 评论 -
deep learning list
版权声明:本文为博主原创文章,未经博主允许不得转载。Free Online BooksDeep Learning by Yoshua Bengio, Ian Goodfellow and Aaron Courville (05/07/2015)Neural Networks and Deep Learning by Michael Nielsen (Dec 2014)Deep转载 2016-11-01 23:02:00 · 2108 阅读 · 0 评论 -
caffe源码解析的三个博客分享
感谢这三位博主的博文,对个人了解caffe源码有了很大的帮助,特记录再次,方便其他朋友使用。1.http://blog.csdn.NET/xizero00/article/category/727908 (博文中有一篇着重点出如何添加layer,写的非常详细!)2.http://blog.csdn.Net/seven_first/article/category/572转载 2016-11-01 21:22:11 · 323 阅读 · 0 评论 -
caffe的损失函数
损失函数,一般由两项组成,一项是loss term,另外一项是regularization term。J=L+R先说损失项loss,再说regularization项。1. 分对得分1,分错得分0.gold standard2. hinge loss(for softmargin svm),J=1/2||w||^2 + sum(max(0,1-yf(w,x)))3. log l转载 2016-11-01 13:47:08 · 509 阅读 · 0 评论 -
caffe 中的损失函数分析以及loss function
caffe 中的损失函数分析http://blog.csdn.net/u014114990/article/details/47802993http://blog.sina.com.cn/s/blog_eb3aea990102v3um.html2015-08-20 09:21 508人阅读 评论(0) 收藏 举报版权声明:本文为博主原转载 2016-11-01 13:44:33 · 2369 阅读 · 0 评论 -
【深度学习Deep Learning】资料大全
最近在学深度学习相关的东西,在网上搜集到了一些不错的资料,现在汇总一下:Free Online BooksDeep Learning66 by Yoshua Bengio, Ian Goodfellow and Aaron CourvilleNeural Networks and Deep Learning42 by Michael NielsenDeep Learning27 b转载 2016-10-31 15:54:00 · 1083 阅读 · 1 评论 -
ImageNet Classification with Deep Convolutional Neural Networks (AlexNet)翻译
ImageNet Classification with Deep Convolutional Neural NetworksAlex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton摘要我们训练了一个大型的深度卷积神经网络,来将在ImageNet LSVRC-2010大赛中的120万张高清图像分为1000个不同的类别。对测试数据转载 2016-10-30 20:52:01 · 1043 阅读 · 0 评论 -
AlexNet 和 VGG-Net的区别
原文:http://www.ithao123.cn/content-8359874.html摘要-今年的 CVPR 非常的火爆,总共有2800多人参与,相比去年增加了700多人,这与deep learning的异军突起是不无关系的。CVPR 2015 基本是 “the year of deep learning”,有大概70%的文章是关于deep learning的。今年的 C转载 2016-10-30 18:59:47 · 4011 阅读 · 0 评论 -
人脸识别 - A Discriminative Feature Learning Approach for Deep Face Recognition
A Discriminative Feature Learning Approach for Deep Face Recognition ECCV 2016code: https://github.com/ydwen/caffe-face本文针对人脸识别问题,针对 loss function提出了加入 center loss,使得学习到地 深度特征更加 discriminati转载 2016-10-28 22:41:08 · 1272 阅读 · 1 评论 -
深度学习 调参数
这次活动的主题是 hyperparameter optimization 和 bayesian optimization,简单说就是如何更有效率地调参,或者。。如何调得一手好参。这个方向近几年论文出来不少,研究潜力不小;而且实用性很强,不仅可用在深度学习中,也可用于其他机器学习方法的调参。选几篇论文讨论清楚,我想无论对学术还是工程都会有不小帮助。主要讨论以下几篇论文:1转载 2016-10-28 15:21:23 · 3022 阅读 · 0 评论 -
TensorFlow 深度学习笔记 TensorFlow实现与优化深度神经网络
转载请注明作者:梦里风林Github工程地址:https://github.com/ahangchen/GDLnotes欢迎star,有问题可以到Issue区讨论官方教程地址视频/字幕下载全连接神经网络辅助阅读:TensorFlow中文社区教程 - 英文官方教程代码见:full_connect.pyLinear Model加载less转载 2016-10-26 16:22:02 · 583 阅读 · 0 评论 -
caffe源码解析-/tools/caffe.cpp(caffe程序入口)
见代码及其注释(ps::个人理解,如有误,欢迎指正)#ifdef WITH_PYTHON_LAYER#include "boost/python.hpp"namespace bp = boost::python;#endif#include #include #include #include #include #include #include "boost/alg转载 2016-11-07 11:45:00 · 1225 阅读 · 0 评论 -
triplet loss 原理以及梯度推导
【前言】 最近,learning to rank 的思想逐渐被应用到很多领域,比如google用来做人脸识别(faceNet),微软Jingdong Wang 用来做 person-reid 等等。learning to rank中其中重要的一个步骤就是找到一个好的similarity function,而triplet loss是用的非常广泛的一种。【理解triplet】如上图所转载 2016-11-03 15:24:24 · 2330 阅读 · 0 评论 -
UFLDL_Tutorial 笔记(deep learning绝佳的入门资料 )
推荐一个deep learning绝佳的入门资料 * UFLDL(Unsupervised Feature Learning and Deep Learning)教程http://deeplearning.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B 故意把链接地址也写出来,方便看到来源,嘿嘿。资料写得相当赞,还有中文版。看转载 2016-10-12 17:19:32 · 879 阅读 · 0 评论 -
【面向代码】学习 Deep Learning(一)Neural Network
==========================================================================================最近一直在看Deep Learning,各类博客、论文看得不少但是说实话,这样做有些疏于实现,一来呢自己的电脑也不是很好,二来呢我目前也没能力自己去写一个toolbox只是跟着Andrew Ng的转载 2016-11-03 10:08:57 · 336 阅读 · 0 评论 -
Deep learning:四十一(Dropout简单理解)
前言 训练神经网络模型时,如果训练样本较少,为了防止模型过拟合,Dropout可以作为一种trikc供选择。Dropout是hintion最近2年提出的,源于其文章Improving neural networks by preventing co-adaptation of feature detectors.中文大意为:通过阻止特征检测器的共同作用来提高神经网络的性能。本篇博文就是按转载 2016-11-03 10:03:57 · 509 阅读 · 0 评论 -
如何在caffe中自定义网络层
如何在caffe中自定义网络层尽管Caffe已经为用户提供了相当多的可用的层,但是面对各种各样的深度学习应用,这些层是远远不够的,为此,我们可能需要定义自己的层来达到特定的功能。一般情况下,如果仅仅需要对某个层进行少量的修改,可以直接修改源码中对应的层,然后重新编译。这种方法好处就是不需要去建立新的文件,也不需要修改proto等,但是坏处也很明显,你无法再使用原来的这个层,如果你确转载 2016-11-02 21:46:32 · 551 阅读 · 0 评论 -
【面向代码】学习 Deep Learning(四) Stacked Auto-Encoders(SAE)
==========================================================================================最近一直在看Deep Learning,各类博客、论文看得不少但是说实话,这样做有些疏于实现,一来呢自己的电脑也不是很好,二来呢我目前也没能力自己去写一个toolbox只是跟着Andrew Ng的转载 2016-10-12 14:10:59 · 403 阅读 · 0 评论 -
【面向代码】学习 Deep Learning(三)Convolution Neural Network(CNN)
最近一直在看Deep Learning,各类博客、论文看得不少但是说实话,这样做有些疏于实现,一来呢自己的电脑也不是很好,二来呢我目前也没能力自己去写一个toolbox只是跟着Andrew Ng的UFLDL tutorial 写了些已有框架的代码(这部分的代码见github)后来发现了一个matlab的Deep Learning的toolbox,发现其代码很简单,感觉比较适转载 2016-10-12 14:09:50 · 523 阅读 · 0 评论 -
【面向代码】学习 Deep Learning(二)Deep Belief Nets(DBNs)
==========================================================================================最近一直在看Deep Learning,各类博客、论文看得不少但是说实话,这样做有些疏于实现,一来呢自己的电脑也不是很好,二来呢我目前也没能力自己去写一个toolbox只是跟着Andrew Ng的转载 2016-10-12 14:08:55 · 413 阅读 · 0 评论 -
【面向代码】学习 Deep Learning(一)Neural Network
==========================================================================================最近一直在看Deep Learning,各类博客、论文看得不少但是说实话,这样做有些疏于实现,一来呢自己的电脑也不是很好,二来呢我目前也没能力自己去写一个toolbox只是跟着Andrew Ng的转载 2016-10-12 14:08:15 · 529 阅读 · 0 评论 -
UFLDL教程练习(exercise)答案(1)
之前看过Andrew NG大神写的UFLDL教程,觉得很不错,不过一直比较懒,没有动手做里面的练习,最近做了一下,感觉很有意思。下面是《稀疏自编码器》和《矢量化编程实现》这两节我自己实现的练习答案,不保证完全正确,不过结果和网站上面给出的基本一致。稀疏自编码器step1在sampleIMAGES.m文件中完成生成训练集的代码,如下,tic和t转载 2016-10-11 20:55:55 · 670 阅读 · 0 评论