深度学习入门
文章平均质量分 69
不良CV研究生
闷骚的泛滥
展开
-
深度学习在图像识别中的应用--学习笔记1
机器学习以及模式识别均属于人工智能范畴,机器学习源自于计算机科学,模式识别源自于工程学,尽管这两者源自于不同的背景,但这两者可以认为是同一个领域下的不同描述。从上世纪九十年代,统计机器学习开始成为主流统计机器学习的形象解释:如果说一个事物背后有一个函数决定了它的特性,那么我们不再需要研究这个函数究竟是什么形式,只要有足够多的数据,通过统计方法,选取恰当的模型,我们便可以原创 2015-07-14 13:28:55 · 4709 阅读 · 0 评论 -
关于深度学习中激活函数的思考总结(转载+原创)
先记录,回头详细写一份http://www.cnblogs.com/neopenx/p/4453161.htmlhttp://blog.csdn.net/liulina603/article/details/44915905/1.ReLU非线性特征 一句话概括:不用simgoid和tanh作为激活函数,而用ReLU转载 2016-03-24 13:20:51 · 2213 阅读 · 0 评论 -
总结径向基函数,径向基网络,计算过程,训练过程介绍(参考+翻译)
1、SVM就是个MLP(多层神经网络)2、RBF径向基核函数在SVM发明的7年前就已经被用于RBF神经网络,RBF网络本质就是个把激活函数从Sigmoid替换成RBF的MLP。RBF的结构:径向基函数(Radical Basis Function,RBF)方法是Powell在1985年提出的。详细看这篇:http://blog.csdn.net/zouxy09/原创 2016-04-09 10:45:54 · 8700 阅读 · 0 评论 -
优化方法,一些重要参数learning rate,weight decay,momentum,learing rate decay
http://blog.csdn.net/lien0906/article/details/47399823http://blog.csdn.net/u014114990/article/details/47779111Stochastic Gradient Descent (SGD)SGD的参数在使用随机梯度下降(SGD)的学习方法时,一般转载 2016-03-27 20:45:50 · 13172 阅读 · 0 评论 -
Galaxy ZOO银河星空图的识别分类
本文是以2015年,Galaxy-zoo星空图分类展开叙述,主要归纳了论文中的重点方法和技巧http://benanne.github.io/2014/04/05/galaxy-zoo.html挑战赛: Kaggle 素材来源:Galaxy Zoo users (zooites) would classify images of galaxies from the Sl原创 2016-04-15 10:28:48 · 2747 阅读 · 0 评论 -
Deep Neural Networks的Tricks~~翻译版~~精华
Here we will introduce these extensive implementation details, i.e., tricks or tips, for building and training your own deep networks.主要以下面八个部分展开介绍:mainly in eight aspects: 1) data augment原创 2016-04-19 08:51:33 · 3030 阅读 · 0 评论 -
Q-learning--定义--过程
The Q-Learning algorithm was proposed as a way to optimize solutions in Markov decision process problems. The distinctive feature of Q-Learning is in its capacity to choose between immediate rewards转载 2016-11-09 14:16:11 · 2362 阅读 · 0 评论 -
detection总结R-CNN>SPP-Net>Fast-R-CNN>Faster-R-CNN>YOLO>SSD
1. R-CNN:Rich feature hierarchies for accurate object detection and semantic segmentation论文:https://arxiv.org/abs/1311.2524代码:https://github.com/rbgirshick/rcnn技术路线:selective search + CN转载 2016-12-15 16:04:54 · 1355 阅读 · 0 评论 -
Loss Function view---关于损失函数的介绍
一、Loss Function什么是Loss Function?wiki上有一句解释我觉得很到位,引用一下:The loss function quantifies the amount by which the prediction deviates from the actual values。Loss Function中文损失函数,适用于用于统计,经济,机器学习等领域,虽外表形式不一转载 2017-01-11 15:42:06 · 2199 阅读 · 0 评论 -
交叉熵与相对熵 ---转载
选至 知乎 :https://www.zhihu.com/question/41252833转载 2017-05-16 11:14:32 · 568 阅读 · 0 评论 -
Maxout的深入理解
转之:http://www.cnblogs.com/tornadomeet/p/3428843.html转载 2016-03-24 12:52:06 · 4854 阅读 · 0 评论 -
Eeeplearning-正则化方法--L1和L2 regularization、数据集扩增、dropout
转载请注明出处:http://blog.csdn.net/u012162613/article/details/44261657保持输入输出层不变,按照BP算法更新上图神经网络中的权值(虚线连接的单元不更新,因为它们被“临时删除”了)。以上就是一次迭代的过程,在第二次迭代中,也用同样的方法,只不过这次删除的那一半隐层单元,转载 2016-03-24 12:17:01 · 824 阅读 · 0 评论 -
关于梯度训练介绍,batch-GD, SGD, Mini-batch-GD, Stochastic GD, Online-GD
3. Stochastic GD (SGD) 随机梯度下降算法(SGD)是mini-batch GD的一个特殊应用。SGD等价于b=1的mini-batch GD。即,每个mini-batch中只有一个训练样本。4. Online GD随着互联网行业的蓬勃发展,数据变得越来越“廉价”。很多应用有实时的,不间断的训练数据产生。在线学习(Online Learning)算法就是转载 2016-03-24 10:52:58 · 3868 阅读 · 0 评论 -
深度学习在图像识别中的应用--学习笔记2
控制论与机器学习控制论的本质:在于利用已有的信息抑制系统熵的增加。控制论所要做的,便是引入外力作用,即反馈,或者说控制环节,以之降低系统的混乱程度,得到我们的期望输出。灰盒模型:灰盒模型,即系统的一部分内容是未知的,另一部分内容是已知的的,例如这里,尽管R、L、C的精确值是未知的,但我们依然可以知道其数值的大致范围。系统辨识领域的原创 2015-07-14 19:30:41 · 984 阅读 · 0 评论 -
深度学习在图像识别中的应用--学习笔记3
第5 章深度置信网络深度置信网来源:Hinton提出,是深度全连接神经网。本质:深度置信网络是一种传统神经网络的推广。神经元:包含:d个输入[x],d个权值[w],一个偏置b,非线性映射的激活函数。网络的逻辑表达:若权值w设为[-2 , -2] b=3,这神经元就是一个与非门。而与非门又可以构成传统的:与门,或门,非门。神经网原创 2015-07-18 14:07:57 · 1154 阅读 · 0 评论 -
深度学习在图像识别中的应用--学习笔记4
分类器作用:于将编码转换为人类所能理解的编码(希望网络给我们一个输出标签)。分类器都带有一个准则函数,用以计算误差。从控制论的角度上看,控制工程中,误差是系统校正的核心,没有误差便没有反馈,没有反馈,则系统难以控制。常用的分类器有三种:平方误差、softmax、支撑向量机~softmax分类器:“二进制编码”和“k中取1”的比较:二进制编码:原创 2015-07-18 15:06:47 · 1114 阅读 · 0 评论 -
深度学习在图像识别中的应用--学习笔记5
神经网络的反馈准则函数是对误差的度量,在反馈过程中,实际就是准则函数最优化的过程。假设函数f(θ)是凸函数,即Hessian矩阵为正定,凸函数的最优问题容易解决。实际中函数f(θ)为非凸函数,解决的方法之一就是梯度下降法。梯度下降法的原理:每次的迭代,我们都在当前的θ下计算f(θ)的梯度。再让θ加上这个梯度,这就朝着梯度下降的方向迭代了。问题:每一步是基于当前参数θ,因原创 2015-07-19 16:02:04 · 2728 阅读 · 0 评论 -
深度学习在图像识别中的应用--学习笔记6
卷积神经网络1、CNN特点之一:它是唯一一个不需要预训练便能直接训练的深度网络。2、与深度置信网络对比:在深度置信网络中,网络节点是全连接的,而卷积神经网络中连接是局部的。CNN网络中,每个上层节点只与部分的下层节点连接,并且,这些连接的权值是共享的,即相同颜色的连接代表其权值相等。好处是:局部连接将会大大减少网络的连接数量,而权值共享又会大大减原创 2015-07-21 14:34:37 · 1865 阅读 · 0 评论 -
ROC曲线(Receiver Operating Characteristic Curve) 的解释
再说明这个概念之前,我们先举一个例子。考虑一个二分问题,即将实例分成正类(positive)或负类(negative)。对一个二分问题来说,会出现四种情况。1、如果实例是正类被预测成正类,称之为真正类(True positive)。TP2、如果实例是负类被预测成正类,称之为假正类(False positive)。FP3、如果实例是负类被预测成负类,称之为真负类(True negat转载 2015-09-13 15:21:16 · 3253 阅读 · 0 评论 -
浅谈Feature Scaling--基础知识
转自:http://blog.sina.com.cn/s/blog_7f2889330101awle.html定义:Feature scaling is a method used to standardize the range of independent variables or features of data. In data processing, it is also kno转载 2015-09-16 13:58:31 · 847 阅读 · 0 评论 -
Deep Learning方向的paper整理(1)
http://hi.baidu.com/chb_seaok/item/6307c0d0363170e73cc2cb65个人阅读的Deep Learning方向的paper整理,分了几部分吧,但有些部分是有交叉或者内容重叠,也不必纠结于这属于DNN还是CNN之类,个人只是大致分了个类。目前只整理了部分,剩余部分还会持续更新。一 RNN1 Recurrent n转载 2015-11-16 14:50:07 · 716 阅读 · 0 评论 -
各种优化方法总结比较(sgd/momentum/Nesterov/adagrad/adadelta)
转载地址:http://blog.csdn.net/luo123n/article/details/48239963http://sebastianruder.com/optimizing-gradient-descent/这里讨论的优化问题指的是,给定目标函数f(x),我们需要找到一组参数x,使得f(x)的值最小。本文以下内容假设读者已经了转载 2016-04-04 20:45:37 · 996 阅读 · 0 评论 -
Active learning-Fine-tuning Convolutional Neural Networks for Biomedical Image Analysis: Actively a
转 : http://zongweiz.leanote.com/post/Active-Learning-%E4%B8%80%E4%B8%AA作者 :周纵苇下面要介绍的工作发表于CVPR2017,题为“Fine-tuning Convolutional Neural Networks for Biomedical Image Analysis: Activel转载 2017-05-21 10:18:50 · 1270 阅读 · 0 评论