Deep Learning
文章平均质量分 72
Bicelove
图像识别、深度学习
展开
-
DeepLearning Overview
四、DeepLearning Overview•Train networks with many layers (vs. shallow nets with just a couple of layers)•Multiplelayers work to build an improved feature space–First layer learns 1st order featur转载 2014-09-05 17:05:04 · 1168 阅读 · 0 评论 -
Deep Learning模型之:CNN卷积神经网络(二) 文字识别系统LeNet-5
[1]Deep learning简介[2]Deep Learning训练过程[3]Deep Learning模型之:CNN卷积神经网络推导和实现[4]Deep Learning模型之:CNN的反向求导及练习[5]Deep Learning模型之:CNN卷积神经网络(一)深度解析CNN[6]Deep Learning模型之:CNN卷积神经网络(二)文...转载 2014-05-01 20:04:26 · 42415 阅读 · 15 评论 -
Deep learning简介
深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。深度学习是无监督学习的一种。 深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。 Deep learning转载 2014-04-24 21:57:29 · 31442 阅读 · 2 评论 -
Deep Learning模型之:Sparse AutoEncoder
这节课来学习下Deep learning领域比较出名的一类算法——sparse autoencoder,即稀疏模式的自动编码。我们知道,deep learning也叫做unsupervised learning,所以这里的sparse autoencoder也应是无监督的。按照前面的博文:Deep learning:一(基础知识_1),Deep learning:七(基础知识_2)所讲,如果是转载 2014-04-25 16:03:55 · 4331 阅读 · 0 评论 -
正则化
最近听老师的原创 2014-05-16 16:25:12 · 2042 阅读 · 0 评论 -
百度2014校园招聘笔试题 ——深度学习算法研发工程师.
一、简答题1.深度神经网络目前有哪些成功的应用?简述原因。(10分) 2.列举不同进程共享数据的方式(至少三种)。(10分) 3.对于N个样本,每个样本为D维向量,采用欧式距离使用KNN做类预测。(10分)1).给出预测时间复杂度。2).当N很大时,有哪些方法可以降低复杂度?3).k取值的大小对预测方差和偏差有何影响?二、算法和程序设转载 2014-09-26 09:32:19 · 1821 阅读 · 0 评论 -
PCANet简介
PCANet是一个基于CNN的简化Deep Learning模型。上图为经典卷积网络示意图PCANet提出者认为,经典的CNN存在的问题是参数训练时间过长且需要特别的调参技巧。因此他们希望能找到一种训练过程更为简单,且能适应不同任务、不同数据类型的网络模型。这个模型就是PCANet。从上图可以看到,PCANet的训练分为三个步骤(stage),前两个stage很转载 2014-11-10 16:01:18 · 2151 阅读 · 0 评论 -
SVM的特点与不足
SVM有如下主要几个特点:(1)非线性映射是SVM方法的理论基础,SVM利用内积核函数代替向高维空间的非线性映射;(2)对特征空间划分的最优超平面是SVM的目标,最大化分类边际的思想是SVM方法的核心;(3)支持向量是SVM的训练结果,在SVM分类决策中起决定作用的是支持向量。(4)SVM 是一种有坚实理论基础的新颖的小样本学习方法。它基本上不涉及概率测度及大数定律等,因此不同转载 2014-10-13 16:04:50 · 7510 阅读 · 0 评论 -
判别式模型与生成式模型
判别式模型与生成式模型发表于2011-09-16摘要 生成式模型:无穷样本 -> 概率密度模型 = 产生式模型 -> 预测 判别式模型:有限样本 -> 判别函数 = 判别式模型 -> 预测简介 简单的说,假设 o 是观察值,m 是模型。 如果对 P(o|m) 建模,就是生成式模型。其基本思想是首先建立样本的概率密转载 2014-11-25 15:22:10 · 1551 阅读 · 0 评论 -
反向传播BP算法
深度神经网路已经在语音识别,图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。第一篇,从最经典的BP网络开始。我不打算详细描述神经网络的生物学运行机理,因为网络上有太多的教程可以参考。这里,主要描述其数学上的计算过程,并且采用的符号可能与其它参考书上的符号有很大差异。特别是,斯坦福官方网站上对深度网络中所引用转载 2014-09-05 16:49:25 · 3875 阅读 · 1 评论 -
Deep Learning模型之:CNN卷积神经网络(一)深度解析CNN
1. 概述 回想一下BP神经网络。BP网络每一层节点是一个线性的一维排列状态,层与层的网络节点之间是全连接的。这样设想一下,如果BP网络中层与层之间的节点连接不再是全连接,而是局部连接的。这样,就是一种最简单的一维卷积网络。如果我们把上述这个思路扩展到二维,这就是我们在大多数参考资料上看到的卷积神经网络。具体参看下图:原创 2014-04-25 17:24:55 · 84336 阅读 · 5 评论 -
Caffe架构之GoogleNte模型
在百度关于Caffe架构之GoogleNte模型的微调与测试时,没有搜到过多的信息,不知道是不是由于caffe官网没给出googlenet的例子,所以研究的人少,或者说,研究的人基本不会写相关的Documentation。暂且先记录些GoogleNet相关的文章学习。1、GoogleNet文章链接:http://arxiv.org/pdf/1409.4842v1.pdf2、不错的语义分割的原创 2016-01-14 18:04:33 · 2157 阅读 · 0 评论 -
pooling
一般有convolution的地方也会有pooling 虽然按照convolution的方法可以减小不少需要训练的网络参数,比如说96*96,,100个隐含层的,采用8*8patch,也100个隐含层,则其需要训练的参数个数减小到了10^3,大大的减小特征提取过程的困难。但是此时同样出现了一个问题,即它的输出向量的维数变得很大,本来完全连接的网络输出只有100维的,转载 2014-04-29 16:58:59 · 7170 阅读 · 2 评论 -
matlab 绘制caffe accuracy与loss曲线
1、问题描述在caffe中微调自己的模型时,将日志文件保存为log.txt,再对其进行解析,绘制accuracy及loss曲线;2、matlab实现clc;clear;% load the log file of caffe modelfid = fopen('log.txt', 'r');tline = fgetl(fid);%get arrays to dra原创 2017-03-08 15:45:07 · 3859 阅读 · 4 评论 -
深度学习tips总结
注:本文是在阅读新智元的文章后总结,文中不少语句参考了原文作者,请知晓。1、shuffle:在框架允许的前提下,每个epoch要shuffle一次;2、扩展数据集:小数据集容易使得模型过拟合,但过分扩展会使得大都相同的数据,需采取一定的方法,避免出现相同的样本(尝试中);3、在非常小的子数据集上训练进行过拟合,再在整个数据集上训练:以确定网络可以收敛;4、始终是用dropo原创 2017-03-07 10:45:47 · 943 阅读 · 2 评论 -
data augmentation 数据增强方法总结
1、问题描述收集数据准备微调深度学习模型时,经常会遇到某些分类数据严重不足的情况,另外数据集过小容易造成模型的过拟合。本文参考和中对于数据增强方法的一些tips,后续会附上自己实现的C++代码;2、data augmentation常用方法Color Jittering:对颜色的数据增强:图像亮度、饱和度、对比度变化(此处对色彩抖动的理解不知是否得当);PCA J原创 2017-03-07 14:34:44 · 48239 阅读 · 13 评论 -
Deep Learning模型之:CNN卷积神经网络推导和实现
本文的论文来自:Notes on Convolutional Neural Networks, Jake Bouvrie。 这个主要是CNN的推导和实现的一些笔记,再看懂这个笔记之前,最好具有CNN的一些基础。这里也先列出一个资料供参考:[1] Deep Learning(深度学习)学习笔记整理系列之(七)[2] LeNet-5, con转载 2014-08-23 19:45:56 · 32979 阅读 · 1 评论 -
Deep Learning模型之:CNN卷积神经网络(三)CNN常见问题总结
遇到的问题梯度消失我在实现过程中犯的第一个错误是没有循序渐进。仗着自己写过一些神经网络的代码以为手到擒来,直接按照LeNet-5的结构写,过于复杂的结构给测试和调试都带来了很大的麻烦,可谓不作死就不会死。简单分析一下LeNet-5的结构:第一层8个5*5的卷积核,第二层分别作2*2pooling,第三层16个5*5的卷积核,第四层2*2pooling,随后是三个节点转载 2014-05-20 11:38:08 · 22554 阅读 · 2 评论 -
Deep Learning模型之:Deep Belief Networks(DBN)
DBNs是一个概率生成模型,与传统的判别模型的神经网络相对,生成模型是建立一个观察数据和标签之间的联合分布,对P(Observation|Label)和 P(Label|Observation)都做了评估,而判别模型仅仅而已评估了后者,也就是P(Label|Observation)。对于在深度神经网络应用传统的BP算法的时候,DBNs遇到了以下问题:(1)需要为训练提供一个有标签的样本集;转载 2014-04-25 17:23:06 · 8520 阅读 · 0 评论 -
Sparsity and Some Basics of L1 Regularization
Sparsity 是当今机器学习领域中的一个重要话题。John Lafferty 和 Larry Wasserman 在 2006 年的一篇评论中提到:Some current challenges … are high dimensional data, sparsity, semi-supervised learning, the relation between computat转载 2014-05-14 12:31:40 · 933 阅读 · 0 评论 -
Deep Learning模型之:Denoise Autoencoder
当采用无监督的方法分层预训练深度网络的权值时,为了学习到较鲁棒的特征,可以在网络的可视层(即数据的输入层)引入随机噪声,这种方法称为Denoise Autoencoder(简称dAE),由Bengio在08年提出,见其文章Extracting and composing robust features with denoising autoencoders.使用dAE时,可以用被破坏的输入转载 2014-04-25 17:33:28 · 3994 阅读 · 0 评论 -
Deep Learning模型之:Sparse Coding
三、Sparse Coding稀疏编码 如果我们把输出必须和输入相等的限制放松,同时利用线性代数中基的概念,即O = a1*Φ1 + a2*Φ2+….+ an*Φn, Φi是基,ai是系数,我们可以得到这样一个优化问题:Min |I – O|,其中I表示输入,O表示输出。 通过求解这个最优化式子,我们可以求得系数ai和基Φi,这些系数和基就是输入的另外一种近似表转载 2014-04-24 22:05:20 · 2168 阅读 · 0 评论 -
行人检测最新论文简介
序号文章简介论文出处02012年PAMI登的行人检测的综述性文章:pedestrian detection an evaluation of the state of the art 作者:Piotr Dollar文中对比了很多最新的行人检测的算法。这篇论文简称为PAMI2012pedestrian det转载 2014-04-14 11:16:49 · 1412 阅读 · 0 评论 -
A Simple Deep Network:sparse autoencoder and softmax regression
During this spring break, I worked on building a simple deep network, which has two parts, sparse autoencoder and softmax regression. The method is exactly the same as the “Building Deep Networks for转载 2014-05-14 11:22:17 · 2159 阅读 · 0 评论 -
聚类——层次聚类Hierarchical Clustering
不管是GMM,还是k-means,都面临一个问题,就是k的个数如何选取?比如在bag-of-words模型中,用k-means训练码书,那么应该选取多少个码字呢?为了不在这个参数的选取上花费太多时间,可以考虑层次聚类。假设有N个待聚类的样本,对于层次聚类来说,基本步骤就是: 1、(初始化)把每个样本归为一类,计算每两个类之间的距离,也就是样本与样本之间的相似转载 2014-06-23 16:19:24 · 1067 阅读 · 0 评论 -
迁移学习的相关概念
之前谈到了迁移学习和自我学习(可以看这里),今天会系统整理一下与迁移学习相互关联的几个概念。 迁移学习的目标是将从一个环境中学到的知识用来帮助新环境中的学习任务。用一句不正式的语言来定义,则是说,当教会了d电脑学习区分大象和犀牛的能力后,电脑利用这一本领更快或更准确地来学习如何区分飞机和鸟。因为人具有知识迁移的能力(所谓温故而知新),当我们学会了一项本领后,再去学习另外一项相关的转载 2014-06-23 22:02:20 · 1721 阅读 · 0 评论 -
无监督学习与监督学习
机器学习的常用方法,主要分为有监督学习(supervised learning)和无监督学习(unsupervised learning)。监督学习,就是人们常说的分类,通过已有的训练样本(即已知数据以及其对应的输出)去训练得到一个最优模型(这个模型属于某个函数的集合,最优则表示在某个评价准则下是最佳的),再利用这个模型将所有的输入映射为相应的输出,对输出进行简单的判断从而实现分类的目的,也就转载 2014-06-23 15:06:53 · 1094 阅读 · 0 评论 -
聚类——混合高斯模型 Gaussian Mixture Model
聚类的方法有很多种,k-means要数最简单的一种聚类方法了,其大致思想就是把数据分为多个堆,每个堆就是一类。每个堆都有一个聚类中心(学习的结果就是获得这k个聚类中心),这个中心就是这个类中所有数据的均值,而这个堆中所有的点到该类的聚类中心都小于到其他类的聚类中心(分类的过程就是将未知数据对这k个聚类中心进行比较的过程,离谁近就是谁)。其实k-means算的上最直观、最方便理解的一种聚类方式了,原转载 2014-06-23 14:19:18 · 1294 阅读 · 0 评论 -
迁移学习&自我学习
最近在看Ng的深度学习教程,看到self-taught learning的时候,对一些概念感到很陌生。作为还清技术债的一个环节,用半个下午的时间简单搜了下几个名词,以后如果会用到的话再深入去看。 监督学习在前一篇博客中讨论过了,这里主要介绍下迁移学习、自我学习。因为监督学习需要大量训练样本为前提,同时对训练样本的要求特别严格,要求训练样本与测试样本来自于同一分布。要是满足不了转载 2014-06-23 17:59:13 · 1296 阅读 · 0 评论 -
Deep Learning模型之:AutoEncoder自编码器
9.1、AutoEncoder自动编码器 Deep Learning最简单的一种方法是利用人工神经网络的特点,人工神经网络(ANN)本身就是具有层次结构的系统,如果给定一个神经网络,我们假设其输出与输入是相同的,然后训练调整其参数,得到每一层中的权重。自然地,我们就得到了输入I的几种不同表示(每一层代表一种表示),这些表示就是特征。自动编码器就是一种尽可能复现输入信号的神经网络。转载 2014-04-24 22:01:21 · 25586 阅读 · 4 评论 -
Deep Learning训练过程
如果对所有层同时训练,时间复杂度会太高;如果每次训练一层,偏差就会逐层传递。这会面临跟上面监督学习中相反的问题,会严重欠拟合(因为深度网络的神经元和参数太多了)。 2006年,hinton提出了在非监督数据上建立多层神经网络的一个有效方法,简单的说,分为两步,一是每次训练一层网络,二是调优,使原始表示x向上生成的高级表示r和该高级表示r向下生成的x'尽可能一致。方法是:1)首先转载 2014-04-24 21:58:41 · 21854 阅读 · 0 评论 -
Deep Learning模型之:CNN的反向求导及练习
前言: CNN作为DL中最成功的模型之一,有必要对其更进一步研究它。虽然在前面的博文Stacked CNN简单介绍中有大概介绍过CNN的使用,不过那是有个前提的:CNN中的参数必须已提前学习好。而本文的主要目的是介绍CNN参数在使用bp算法时该怎么训练,毕竟CNN中有卷积层和下采样层,虽然和MLP的bp算法本质上相同,但形式上还是有些区别的,很显然在完成CNN反向传播前了解bp算法是必须转载 2014-08-23 19:59:06 · 13962 阅读 · 0 评论 -
Caffe之网络输出
1、fc层例如caffenet的fc8层:layer { name: "fc8" type: "InnerProduct" bottom: "fc7" top: "fc8" param { lr_mult: 1 decay_mult: 1 } param { lr_mult: 2原创 2017-05-10 11:32:54 · 2035 阅读 · 0 评论