深度学习
WayBling
SJTU 电子系研究生 研究方向图像处理,机器视觉,人工智能
展开
-
Caffe入门(3)——Blob,Layer,and Nets:anatomy of a Caffe model
简述深度学习网络是一种组合模型,表示为相互关联的数据处理层的集合。Caffe把网络定义成一个层与层叠加的模式。一个网络模型需要从底层的输入数据到顶层的损失的整个模型。当数据和数据的派生物通过前向和反响通道流经网络时,caffe以Blobs德兴市存储交互和操作信息:Blob是标准的数组和统一的存储接口。Layer是模型和计算的基础构件,Net是Layer的链接和集合,Blob详细描述了信息如何在Lay原创 2016-09-13 22:09:01 · 658 阅读 · 0 评论 -
Caffe入门(4)——Forward and Backward
Forward前向和Backward反向通道是深度网络必须的计算流程。前向通道根据输入计算输出,过程是自底(bottom)向顶(top)的。反向通道根据学习的损失计算梯度,在反向通道中,Caffe反向组合每一层的梯度来计算整个模型的梯度,这个过程是自顶(top)向底(bottom)的。反向通道计算从损失开始计算最后一个计算层的导数,模型剩余的其他导数将通过链式法则逐层计算,使用适当的最优化方法,使整原创 2016-09-13 22:46:33 · 2285 阅读 · 0 评论 -
Deep Learning——卷积理解
卷积神经网络是进来很火的深度学习算法,网上解读的文章也非常多,但是感觉也就是抄来抄去,看了很多,但理解仍然不透彻。受博主hjimce启发,感到应该从基本的数学概念入手理解。有查了一些资料,算是对卷积有了一定的理解。我将从三个层次讲解卷积,分别是物理的卷积(信号处理的卷积),图像处理的卷积,卷积神经网络的卷积。物理上的卷积对于这一部分,网上有很多残忍又有趣的回答,可以很好的让我们理解什么是卷积,详见知原创 2016-09-07 22:44:52 · 550 阅读 · 0 评论 -
Caffe入门(6)——Solver求解器
Solver通过协调前向通道结果和反向通道导数来形成参数更新以控制模型优化。学习的任务由Solver和Net承担,Solver负责监督优化和形成参数更新;Net负责产生loss和gradient。Caffe Solver有以下几种:随机梯度下降法(Stochastic Gradient Descent,SGD) AdaDelta 自适应梯度法(Adaptive Gradient, AdaGrad原创 2016-09-14 19:42:53 · 1758 阅读 · 0 评论 -
Caffe入门(5)——Loss
2016/9/14 文字有待润色Caffe中和其他大部分机器学习一样,通过一个损失函数(或者叫做误差,成本或者目标函数)。一个损失函数通过规划参数设置来确定学习的目标。因此,学习的目标是寻找参数的集合来最小化损失函数。Caffe中Loss是通过网络的前向通道计算的。每一层输入一系列Blobs并输出一系列Blobs。一些层的输出会被用于损失函数计算。一个典型的一对多分类任务的损失函数是SoftmaxW原创 2016-09-14 13:56:26 · 878 阅读 · 0 评论 -
Caffe入门(1)——Ubuntu 16.04 caffe无GPU模式安装
因为科研需求开始学习深度学习,正式如坑caffe。折腾了三天也没有最终装对,感觉太浪费时间,决定暂且缓一缓,在笔记本上先用非GPU模式学习caffe,用实验室配好的服务器跑程序就好了,等之后Linux和caffe的知识丰富起来再配GPU模式不迟。同时,我感觉到学习caffe必然是两步一个坑的过程,因此决定记一笔流水帐,把学习过程中的每一个步骤,每一处bug,每一点成果都记录下来。避免我以后重新掉坑。原创 2016-08-23 21:18:10 · 539 阅读 · 0 评论 -
Caffe入门(2)——Blob,Net库测试
编写程序测试caffe的Blob和Net的功能 2016/9/1Blob测试1 cd caffe/ 2 sudo gedit blob_demo.cpp 3 在gedit编辑器中编辑#include <vector>#include <iostream>#include <caffe/blob.hpp>using namespace caffe;using namespace std;原创 2016-09-01 22:36:20 · 1261 阅读 · 4 评论