Deep Learning
文章平均质量分 92
langb2014
这个作者很懒,什么都没留下…
展开
-
机器学习中的Embedding
来自知乎的一个解释:(版权归原作者所有,仅供学习,禁止商用)https://zhuanlan.zhihu.com/p/46016518解释还是有点感觉迷糊,数学解释:Embedding在数学上表示一个maping, f: X -> Y, 也就是一个function,其中该函数是injective(就是我们所说的单射函数,每个Y只有唯一的X对应,反之亦然)和st...转载 2019-10-17 15:31:30 · 5532 阅读 · 0 评论 -
深度学习GPU卡的理解(三)
继续搬砖第三篇《How to Parallelize Deep Learning on GPUs Part 1/2: Data Parallelism》In my last blog post I showed what to look out for when you build a GPU cluster. Most importantly, you want a fast n原创 2016-12-26 12:51:31 · 3520 阅读 · 0 评论 -
深度学习GPU卡的理解(二)
继续搬砖第二篇《How To Build and Use a Multi GPU System for Deep Learning》When I started using GPUs for deep learning my deep learning skills improved quickly. When you can run experiments of algo原创 2016-12-26 12:46:25 · 3415 阅读 · 0 评论 -
深度学习GPU卡的理解(一)
一直不是很清楚到底买什么NVIDIA卡合适?对于硬件小白的我来说,买显存最大的没问题,并不清楚什么GPU适合什么深度模型。碰巧找到一个懂GPU的行家,由于国内翻墙比较麻烦就将这几篇blog转过来了。地址《Which GPU(s) to Get for Deep Learning: My Experience and Advice for Using GPUs in Deep Learn原创 2016-12-26 12:44:25 · 21509 阅读 · 1 评论 -
caffe如何自定义网络以及自定义层(python)(一)
深度学习理论基础知识与进阶书下载:《深度学习-花书》链接: https://pan.baidu.com/s/1pMeyhvUtgucy8vUFwvYETQ 提取码: nvig一直想了解检测这一套代码是如何添加lib目录然后编译到caffe的网络中?我先从开始网络定义开始。。。。。首先默认caffe已经安装好,我们长话短说,先定义一个最简单的网络conv.protxt...原创 2016-11-08 14:49:19 · 6944 阅读 · 1 评论 -
caffe如何自定义网络以及自定义层(python)(二)
继续熟悉前一篇的东西。Load pretrained parameters to classify an image首先从gist下载模型脚本:./scripts/download_model_from_gist.sh #!/usr/bin/env sh#coding=utf-8#终端后面输入的第一个参数GIST=$1#终端后面输入的第二个参数DIRNAME=${2:原创 2016-11-21 12:35:36 · 5873 阅读 · 3 评论 -
为什么随机性对于深度学习如此重要?
本文作者Eric Jang,Google Brain研究工程师,译者为任杰骥及徐君。纯属学习并无商业用途,如有侵权立即删除。如果你是一个刚刚入门的新手,那么你有可能会觉得一大堆技术被随意一股脑地用在了训练神经网络上,例如dropout正则化、扩增梯度噪声、异步随机下降。那这些技术有什么相同的呢?答案是他们都利用了随机性!随机性是深度神经网络正常运行的关键:随机噪声使转载 2016-11-12 16:03:37 · 6154 阅读 · 0 评论 -
Caffe的Python接口进行Cifar10可视化
由于我上一篇想调可视化的内容,不知道为什么调不起来,这个先转载过来保存一下。地址根据训练好的cifar10数据的model,从测试图片中选出一张进行测试,并进行网络模型、卷积结果及参数可视化注意:本文中代码运行在windows+ipython notebook下,已事先配置好caffe的python接口导入必需的包123456789转载 2016-11-08 15:26:10 · 3480 阅读 · 2 评论 -
Lua包管理工具Luarocks详解
最近在学torch,一个常用命令的学习。讨论话题什么是Luarocks源码安装部署Luarocks注册Luarocks为Lua社区贡献自己的代码Luarocks使用初探什么是LuarocksLuarocks是一个Lua包管理器,基于Lua语言开发,提供一个命令行的方式来管理Lua包依赖、安装第三方Lua包等,社区比较流行的包管理器之一,另还有一个LuaDist,Luaroc转载 2016-10-15 14:12:24 · 6927 阅读 · 0 评论 -
深度学习GPU卡的理解(四)
这一篇是对于卷积的理解《Understanding Convolution in Deep Learning》Convolution is probably the most important concept in deep learning right now. It was convolution and convolutional nets that catapulted de原创 2016-12-26 13:04:04 · 9997 阅读 · 0 评论 -
深度学习GPU卡的理解(五)
最后这一篇是对于计算卡的理解指导《 A Full Hardware Guide to Deep Learning》Deep Learning is very computationally intensive, so you will need a fast CPU with many cores, right? Or is it maybe wasteful to buy a fas原创 2016-12-26 13:08:05 · 7345 阅读 · 0 评论 -
新系统Ubuntu18.4以上深度工具合集安装(Nvidia+CUDA+Tensorflow+Caffe+Torch)
之前在装有caffe的基础上,换CUDA7.5不成功,然后终于找到github上一个教程,一定要按里面的流程安装.把市面上用到的深度工具都装在ubuntu14.04上.现在更新了新系统Ubuntu18.04,显卡还是4路1080Ti,问题贼多,系统装完开机黑屏,无界面,卸载驱动出现循环登录可能,还可能界面鼠标顿卡,记录一下这三天的心塞历程,更新在最后面。有问题请留言.深度学习理论基础知识与进阶...原创 2016-06-03 16:53:50 · 12623 阅读 · 5 评论 -
linux(ubuntu14.04)+GPU+cuda6.5+caffe+openCV2.4.9+matlab2014a+python的新手配置
本人是一名新手,无论是学习linux还是学习caffe都是个无名小卒。经过几番周折,终于把caffe配置起来了原创 2015-03-21 16:29:35 · 5563 阅读 · 2 评论 -
Convolutional Networks for Image Semantic Segmentation
感谢分享。http://yhlleo.github.io/2016/10/19/CNN-SemanticSeg/把前段时间自己整理的一个关于卷积神经网络应用于图像语义分割的PPT整理发布在本篇博客内,由于部分内容还在研究或发表过程中,就只上传PPT前两部分的内容。今天给大家介绍卷积神经网络在图像语义分割上的一些方法和应用。PPT的目录包括,语义分割的简单转载 2017-07-17 15:11:33 · 934 阅读 · 0 评论 -
极深网络(ResNet/DenseNet): Skip Connection为何有效及其它
转自:http://blog.csdn.net/malefactor/article/details/67637785感谢张俊林通俗的分析。================================================================================================================Residual N转载 2017-03-29 09:52:47 · 6439 阅读 · 0 评论 -
Theano快速突击(二)
下面是logic函数:原文描述:Logistic Function=================Here's another straightforward example, though a bit more elaboratethan adding two numbers together. Let's say that you want to computeth原创 2017-02-02 19:56:17 · 992 阅读 · 0 评论 -
Theano快速突击(一)
1. Theano的发音第一次碰到时很自然的发音是 /θi.ˈæ.noʊ/,不过如果看一些视频可能也有发/te.ˈaː.no/的。这两种都有,比较官方的说法可能是这个:I think I say roughly /θi.ˈæ.noʊ/ (using the international phonetic alphabet), or /te.ˈaː.no/ when speaking Dutc原创 2017-02-02 17:20:32 · 3811 阅读 · 0 评论 -
nvidia显卡驱动卸载和卸载后的问题
由于装了nvidia显卡驱动后开机一直处于循环登录界面,密码输入正确也是进不去,然后就决定卸载nvidia显卡驱动。首先是在能使用tty1登录的情况下,使用$ sudo apt-get autoremove --purge nvidia-*$ sudo reboot然后就发现开机能进去desktop了,很开心,结果就是切换到tty模式下是黑屏,其实不是黑屏,是由于卸载了nv原创 2015-07-10 13:26:35 · 17789 阅读 · 1 评论 -
Tensorflow的Bazel编程(一)
在了解Bazel先看一下Google Bazel原理篇:Google分布式构建软件之第一部分:访问源代码Google分布式构建软件之第二部分:构建系统如何工作Google分布式构建软件之第三部分:分布式执行构建步骤Google分布式构建软件之第四部分:分发构建结果Bazel工具使用篇:Redhat环境下编译安装Google BazelGoogle软件构建工具Ba原创 2017-01-09 14:01:36 · 5831 阅读 · 0 评论 -
什么是end-to-end神经网络?
来源:知乎著作权归作者所有。讨论:张旭--------------------------------->端到端指的是输入是原始数据,输出是最后的结果,原来输入端不是直接的原始数据,而是在原始数据中提取的特征,这一点在图像问题上尤为突出,因为图像像素数太多,数据维度高,会产生维度灾难,所以原来一个思路是手工提取图像的一些关键特征,这实际就是就一个降维的过程。那么问题来了转载 2016-11-03 11:03:53 · 34818 阅读 · 4 评论 -
Fast-rcnn的caffe代码结构描述
首先要学会如何调用python层在protxt文件中,调用python层后面补上。下面是Fast-rcnn的官网slide描述:原创 2016-10-12 12:09:32 · 3188 阅读 · 0 评论 -
几种深度学习库的整理
本文总结了Python、Matlab、CPP、Java、JavaScript、Lua、Julia、Lisp、Haskell、.NET、R等语言的深度学习库,赶紧收藏吧!Python1. Theano是一个python类库,用数组向量来定义和计算数学表达式。它使得在Python环境下编写深度学习算法变得简单。在它基础之上还搭建了许多类库。 1.Keras是一个简洁、高度模转载 2015-11-01 16:06:29 · 12031 阅读 · 2 评论 -
caffe调用已生成的模型和测试
在配置教程里有训练好的模型,然后使用caffe去调用这个模型。先看一下build/tools/caffe.bin文件里面有哪些参数:1、先是test表明是要评价一个已经训练好的模型。2、然后指定模型prototxt文件,这是一个文本文件,详细描述了网络结构和数据集信息。从mnist下面的train_lenet.sh指定的solver对应于examples/mnist/lenet原创 2015-11-10 13:59:21 · 7310 阅读 · 1 评论 -
Caffe中的优化方法
在Deep Learning中,往往loss function是非凸的,没有解析解,我们需要通过优化方法来求解。Caffe通过协调的进行整个网络的前向传播推倒以及后向梯度对参数进行更新,试图减小损失。 Caffe已经封装好了三种优化方法,分别是Stochastic Gradient Descent (SGD), AdaptiveGradient (ADAGRAD), and Nesterov’转载 2015-11-09 10:31:11 · 3719 阅读 · 0 评论 -
Locality-constrained Linear Coding for Image Classification(阅读)
通熟易懂的图片,来自余凯。经过前面的BoW、BoF、SPM、ScSPM的学习,终于可以大概把CNN网络的结构稍微理解一下了:VQ啊,SC啊相当于CNN中的coding部分,SPM相当于pooling部分。 BoW+SPM的图下面是CNN等效对比图:然后接下来就是Spare Coding取代,它能很好模拟人大脑的信号处理过程,也求解问题能够用LASSO解决。原创 2015-10-07 18:59:30 · 3445 阅读 · 0 评论 -
逻辑回归模型及LBFGS的Sherman Morrison(SM) 公式推导
转载 2015-10-05 17:11:20 · 3962 阅读 · 2 评论 -
Notes on Convolutional Neural Networks(阅读)
这篇文章是大家熟悉的CNN,这是被埋没了很久的一篇,是金子总会发光。=====================================================================使用的代码:DeepLearnToolbox ,下载地址:点击打开,感谢该toolbox的作者=========================================原创 2015-09-15 18:08:44 · 7638 阅读 · 0 评论 -
Expectation Maximization
1原创 2015-09-14 21:08:50 · 1157 阅读 · 0 评论 -
ImageNet Classification with Deep Convolutional Neural Networks(阅读)
相信大家都看过CNN的网络框架,我就先从这篇文章框架说起,下面是Alexnet的网络结构:这个流程图的制作参考:http://blog.csdn.net/sunbaigui/article/details/399380971. conv1阶段DFD(data flow diagram):2. conv2阶段DFD(data flow diagram):3. conv原创 2015-09-08 12:11:18 · 17316 阅读 · 1 评论 -
caffe提取已训练好模型的特征
按照caffe官网教程:1、创建一个临时文件夹$ mkdir examples/_temp2、我们为三张图片添加一个文件列表find `pwd`/examples/images -type f -exec echo {} \; > examples/_temp/temp.txt原创 2015-11-26 12:29:44 · 3164 阅读 · 1 评论 -
改进神经网络的学习方式(译文)----下
如何选择神经网络的超参数直到现在,我们还没有解释对诸如学习率 $$\eta$$,规范化参数 $$\lambda$$ 等等超参数选择的方法。我只是给出那些效果很好的值而已。实践中,当你使用神经网络解决问题时,寻找好的超参数其实是很困难的一件事。例如,我们要解决 MNIST 问题,开始时对于选择什么样的超参数一无所知。假设,刚开始的实验中选择前面章节的参数都是运气较好。但在使用学习率 $$\e转载 2016-01-09 17:14:49 · 3422 阅读 · 0 评论 -
Fast-rcnn标图工具生成xml文件
1、github工具安装地址:https://github.com/tzutalin/labelImg2、我在window下安装,先下载Python2.7和PyQt43、cmd进入到labelImg目录下(如果cmd命令CD无法进入其他盘,可使用pushd N:)运行:4、pyrcc4 -o resources.py resources.qrc5、python labelImg.p原创 2016-10-12 10:58:35 · 3981 阅读 · 2 评论 -
GoogleNet的Inception_v1、Inception_v2、Inception_v3、Inception_v4(整理)
来自caffeCN的一个简要的总结(http://caffecn.cn/?/question/255):先上Paper列表:[v1] Going Deeper with Convolutions, 6.67% test error, http://arxiv.org/abs/1409.4842[v2] Batch Normalization: Accelerating Deep Net原创 2016-10-11 13:16:30 · 22415 阅读 · 3 评论 -
目标检测相关文章及源码
【目标识别】深度学习进行目标识别的资源列表:O网页链接 包括RNN、MultiBox、SPP-Net、DeepID-Net、Fast R-CNN、DeepBox、MR-CNN、Faster R-CNN、YOLO、DenseBox、SSD、Inside-Outside Net、G-CNN等。PapersDeep Neural Networks for Object Detection转载 2016-08-27 10:22:12 · 4723 阅读 · 3 评论 -
CNN的训练图像与测试图像不一致的多尺度问题
今天我们要谈论的文章为:OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks. ICLR2014.这是大牛Yann LeCun小组的文章。openreview中有下载链接和讨论:http://openreview.net/document/cb1bf转载 2016-08-27 10:51:14 · 23957 阅读 · 0 评论 -
Deep Learning方向的paper
个人阅读的Deep Learning方向的paper整理,分了几部分吧,但有些部分是有交叉或者内容重叠,也不必纠结于这属于DNN还是CNN之类,个人只是大致分了个类。目前只整理了部分,剩余部分还会持续更新。一 RNN1 Recurrent neural network based language model RNN用在语言模型上的开山之作转载 2016-03-06 14:47:05 · 2627 阅读 · 0 评论 -
深度神经网络为何很难训练(译文)
原文假设你是一名工程师,接到一项从头开始设计计算机的任务。某天,你在工作室工作,设计逻辑电路,构建 AND 门,OR 门等等时,老板带着坏消息进来:客户刚刚添加了一个奇特的设计需求:整个计算机的线路的深度必须只有两层:两层线路你惊呆了,跟老板说道:“这货疯掉了吧!”老板说:“他们确实疯了,但是客户的需求比天大,我们要满足它。”实际上,在某种程度上看,他们的客户并没有转载 2016-01-09 17:37:41 · 3852 阅读 · 1 评论 -
进神经网络的学习方式(译文)----中
过匹配和规范化诺贝尔奖得主美籍意大利裔物理学家恩里科·费米曾被问到他对一个同僚提出的尝试解决一个重要的未解决物理难题的数学模型。模型和实验非常匹配,但是费米却对其产生了怀疑。他问模型中需要设置的自由参数有多少个。答案是“4”。费米回答道:“我记得我的朋友约翰·冯·诺依曼过去常说,有四个参数,我可以模拟一头大象,而有五个参数,我还能让他卷鼻子。”这里,其实是说拥有大量的自由参数的模型能够转载 2016-01-09 17:24:39 · 5114 阅读 · 0 评论 -
改进神经网络的学习方式(译文)----上
当一个高尔夫球员刚开始学习打高尔夫时,他们通常会在挥杆的练习上花费大多数时间。慢慢地他们才会在基本的挥杆上通过变化发展其他的击球方式,学习低飞球、左曲球和右曲球。类似的,我们现在仍然聚焦在反向传播算法的理解上。这就是我们的“基本挥杆”——神经网络中大部分工作学习和研究的基础。本章,我会解释若干技术能够用来提升我们关于反向传播的初级的实现,最终改进网络学习的方式。本章涉及的技术包括:更好的代价函转载 2016-01-09 17:22:37 · 1818 阅读 · 0 评论 -
Discriminative Modeling vs Generative Modeling(学习Free Mind知识整理)
阅读http://freemind.pluskid.org/machine-learning/discriminative-modeling-vs-generative-modeling/文章中的一些知识整理:=================================================================Discriminative Model维基原创 2015-08-22 16:45:57 · 1197 阅读 · 0 评论