深度学习
文章平均质量分 70
曼陀罗彼岸花
毕业小硕,主研机器视觉,图像处理方向,专注于图像分类,识别,机器视觉方面的研究,愿结识广大同道中人,共同学习!
展开
-
压缩传感的系列论文和点评
【摘自:http://blog.sina.com.cn/wuyuzaizai】压缩传感不是万能的, 虽然它是信号和图像处理领域最热门的研究对象 但是它不可能解决所有问题 就像中科院李老师的话:“压缩感知根植于数学理论,它给目前国内浮躁的学术环境提了一个警钟!因为只有很好地钻研它的基本理论和方法,才能将其有效地应用在所关心的问题中;否则它只能是一剂春药,一种无法名状的春药转载 2014-03-08 20:41:25 · 1057 阅读 · 0 评论 -
迁移学习
Transfer Learning Resources在机器学习领域,迁移学习(Transferlearning)是一个比较新的名词。目前国内做这个方面的很少,我目前只知道香港科技大学杨强教授及上海交大的机器学习小组在从事这方面的研究,他们的学生Erheng Zhong以及一帮人就建立了这个一个资源。近几年他们已经取得大量的成果,发表了十几篇AI领域顶级的会议论文。Qiang Yang原创 2014-10-19 13:09:39 · 15456 阅读 · 2 评论 -
深度学习资料整理(深度神经网络理解)
深度神经网络(deep neural network) 深度就是隐层多,多层的好处是可以用较少的参数表示复杂的函数。 在监督学习中,以前的多层神经网络的问题是容易陷入局部极值点。如果训练样本足够充分覆盖未来的样本,那么学到的多层权重可以很好的用来预测新的测试样本。实际情况下面对多任务难以得到足够多的标记样本,此时,简单的模型如线性回归或者决策树往往能得到比多层神经网络更好的结果原创 2014-05-07 10:43:03 · 4460 阅读 · 0 评论 -
深度学习资料整理(压缩感知)
压缩感知技术 压缩感知(Compressive Sensing, orCompressed Sampling,简称CS),由Candes、TerresTao等人提出,挑战传统的Nyquist采样定理采样编码技术。 压缩感知理论为信号采集技术带来了革命性的突破,它采用非自适应线性投影来保持信号的原始结构,以远低于奈奎斯特频率对信号进行采样,通过数值最优化问题准确重构出原始信号。经典的原创 2014-05-06 22:48:10 · 8832 阅读 · 0 评论 -
深度学习资料整理(文章类)
1 论文汇总主要是顺着Bengio的PAMI review的文章找出来的。包括几本综述文章,将近100篇论文,各位山头们的Presentation。全部都可以在google上找到。BTW:由于我对视觉尤其是检测识别比较感兴趣,所以关于DL的应用主要都是跟Vision相关的。在其他方面比如语音或者NLP,很少或者几乎没有。个人非常看好CNN和Sparse Autoencode原创 2014-10-26 15:04:30 · 4286 阅读 · 0 评论 -
深度学习资料整理(软件资源)
深度学习( Deep Learning )软件资源列表列表源自http://deeplearning.net/software_links/,本文进行分类整理。星号代表对软件库的推荐度,考虑了适用范围、开发语言、更新情况、文档示例完整性等方面,Just personal opinion。根据编程语言,对深度学习的软件资源分类:PYTHON:★★★★★ 五星The原创 2014-05-07 11:01:28 · 12903 阅读 · 0 评论 -
深度学习资料整理(博客类)
最近在学习深度学习相关的原创 2014-10-26 20:37:43 · 5424 阅读 · 0 评论 -
深度学习资料整理(关键技术总结,斯坦福大学UFLDL教程)
中文网站:http://download.csdn.net/detail/tiandijun/7098285英文原网站:http://deeplearning.stanford.edu/wiki/index.php/UFLDL教程总结一 数据预处理1.常用批量梯度下降法来求解神经网络代价函数,但是L-BFGS和共轭梯度算法通常比梯度下降法快很多。求取代价函数的关键步骤是计算原创 2014-03-25 21:03:33 · 4551 阅读 · 0 评论 -
深度学习原理和实践
深度学习是近年机器学习领域的重大突破,有着广泛的应用前景。随着Google公开Google Brain计划,业界对深度学习的热情高涨。腾讯在深度学习领域持续投入,获得了实际落地的产出。下面四篇文章,阐述深度学习的原理和在腾讯的实践,介绍腾讯深度学习平台Mariana。深度学习系列:深度学习在腾讯的平台化和应用实践(一)深度学习系列:Mariana DNN多GPU数据并行框架 微原创 2015-04-10 09:47:21 · 3564 阅读 · 1 评论 -
深度学习 vs. 概率图模型 vs. 逻辑学
深度学习 vs. 概率图模型 vs. 逻辑学在上个月发表博客文章《深度学习 vs. 机器学习 vs. 模式识别》之后,CMU博士、MIT博士后及vision.ai联合创始人Tomasz Malisiewicz这一次带领我们回顾50年来人工智能领域三大范式(逻辑学、概率方法和深度学习)的演变历程。通过本文我们能够更深入地理解人工智能和深度学习的现状与未来。以下为正文:今天转载 2015-05-10 15:01:45 · 1312 阅读 · 0 评论 -
CVPR 2015 之深度学习总结
Part 1 - AlexNet 和 VGG-Net 摘要-今年的 CVPR 非常的火爆,总共有2800多人参与,相比去年增加了700多人,这与deep learning的异军突起是不无关系的。CVPR 2015 基本是 “the year of deep learning”,有大概70%的文章是关于deep learning的。今年的 CVPR 非常的火爆,总共有2800多人参与,相原创 2016-01-20 11:12:15 · 5124 阅读 · 3 评论 -
深度残差网络(Deep Residual Learning )
纵观CNN领域网络的里程碑,最近深度残差网络ResNet微软的深度残差网络ResNet源于2016年CVPR最佳论文---图像识别中的深度残差学习(Deep Residual Learning for Image Recognition), 论文:pdf这个152层ResNet架构深,除了在层数上面创纪录,ResNet 的错误率也低得惊人,达到了3.6%,人类都大约在5%~10%的水平。这是目前原创 2016-09-13 16:05:57 · 19357 阅读 · 0 评论 -
基于深度学习的目标检测新作
写在前面研究DPM大半年了,实验也做过,工程项目也应用过,发现针对复杂背景的对象检测的效果不是很好,而且由于HOG特征提取和多个部件滤波器的特征提取,造成检测速度很慢,难以用在视频的对象检测上。最近看到了CVPR的一些对象检测的新进展,感觉很有领悟,趋向于基于深度学习的路线,收集了一些资料,在研究中。 上边左侧的这张图,从图中你看到了什么物体?他们在什么位置?这还原创 2016-08-19 16:22:13 · 6416 阅读 · 2 评论 -
循环神经网络(RNN, Recurrent Neural Networks)介绍
原文:http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/, 基于此文,加入了一些新的内容与一些自己的理解:http://blog.csdn.net/heyongluoyao8/article/details/48636251原创 2016-11-02 23:30:21 · 1508 阅读 · 0 评论 -
LightRNN:高效利用内存和计算的循环神经网络
选自arXiv.org机器之心编译摘要循环神经网络(RNN)已经在许多自然语言处理任务上取得了最出色的表现,比如语言建模和机器翻译。然而当词汇量很大时,RNN 模型会变得很大(可能超过 GPU 最大的内存能力),这样训练将变得很低效。在这项工作中,我们提出一种全新的方法来解决这一挑战。其中的关键思想是使用二分量(2-Component(2C))共享的词表征的嵌入(embedding for wor转载 2016-11-02 23:35:32 · 3210 阅读 · 0 评论 -
深度学习资料整理(从感知机到深度网络)
1 感知机感知机是最早的监督式训练算法,是神经网络构建的基础。新的数据标记、分类实现:通过数据平面上的一条线来将不同标记的数据点分开,并用这条线作为“分类器”来区分新数据点的标记。缺点:只能学习 线性可分函数 。如 XOR函数,不能被线性分类器分类。多层感知机诞生:多层感知机——前馈神经网络(组合一群这样的感知机来创建出一个更强大的学习机器)2前馈神经网络神经网络实际上就原创 2014-05-12 18:53:15 · 2177 阅读 · 0 评论 -
语音识别开发---基于科大讯飞开放平台
科大讯飞开放平台http://www.xfyun.cn/大致开发流程想要使用科大的语音功能:首先必须要注册一个开发者账号然后新建一个应用新建完成以后,需要开通你想要使用的功能,例如语音识别、语音合成、语义理解等等下载sdk集成开发注意:创建完应用以后,会生成一个AppId,这个AppId是和SDK对应的,如果你在工程中用到的AppId和对应的库对应不上,在使用接口的时候会报错你要使用什么功能,必须原创 2016-11-07 16:55:49 · 24224 阅读 · 6 评论 -
基于CNN的人脸 性别、年龄识别
CNN应用之性别、年龄识别原文地址:http://blog.csdn.net/hjimce/article/details/49255013作者:hjimce一、相关理论 本篇博文主要讲解2015年一篇paper《Age and Gender Classification using Convolutional Neural Networks》,个人感觉这篇文献没啥难度,只要懂得Alexnet,转载 2017-01-05 16:03:45 · 12320 阅读 · 3 评论 -
压缩感知(Compressive Sensing)学习之(二)
压缩感知(Compressive Sensing)学习之(二)zouxy09@qq.comhttp://blog.csdn.net/zouxy09 上一回粗略的引入了压缩感知。 http://blog.csdn.net/zouxy09/article/details/8118313 下面就针对自己的了解,具体总结下压缩感转载 2014-03-24 22:10:27 · 2366 阅读 · 0 评论 -
压缩跟踪Compressive Tracking
压缩跟踪Compressive Trackingzouxy09@qq.comhttp://blog.csdn.net/zouxy09 好了,学习了解了稀疏感知的理论知识后,终于可以来学习《Real-Time Compressive Tracking》这个paper介绍的感知跟踪算法了。自己英文水平有限,理解难免出错,还望各位不吝指正。转载 2014-03-24 22:44:12 · 1135 阅读 · 0 评论 -
压缩感知(Compressive Sensing)学习之(一)
压缩感知(Compressive Sensing)学习之(一)zouxy09@qq.comhttp://blog.csdn.net/zouxy09 压缩感知(压缩传感,Compressive Sensing)理论是近年来信号处理领域诞生的一种新的信号处理理论,由D. Donoho(美国科学院院士)、E. Candes(Ridgelet, Curvelet创始人)转载 2014-03-24 22:37:05 · 1957 阅读 · 0 评论 -
无监督特征学习——Unsupervised feature learning and deep learning
无监督学习近年来很热,先后应用于computer vision, audio classification和 NLP等问题,通过机器进行无监督学习feature得到的结果,其accuracy大多明显优于其他方法进行training。本文将主要针对Andrew的unsupervised learning,结合他的视频:unsupervised feature learning by Andr转载 2014-03-08 20:43:53 · 821 阅读 · 0 评论 -
Karhunen-Loeve Transform (KLT) 原理及PCA应用
Karhunen-Loeve Transform(KLT)是一种数据变换与分析方式,常用于数据压缩和PCA降维。1. KLT是什么变换,KLT的目的是什么?KLT是对向量x做的一个正交变换y=Φx,目的是变换到y后去除数据相关性。PS:其中,Φ是x特征向量组成的矩阵,满足ΦTΦ=I,当x都是实数时,Φ是正交矩阵。转载 2014-03-08 20:46:55 · 4523 阅读 · 0 评论 -
K-SVD简述——字典学习,稀疏编码
K-SVDRachel Zhang 1. k-SVD introduction1. K-SVD usage:Design/Learn a dictionary adaptively to betterfit the model and achieve sparse signal representations.2. Main Prob转载 2014-03-08 20:48:12 · 1839 阅读 · 0 评论 -
MOD 之"Hello World"
首先声明,MOD不是取模函数!MOD是字典学习和sparse coding的一种方法… 最近在看KSVD,其简化版就是MOD(method of directions),这么说吧,KSVD和MOD的优化目标函数是相同的,MOD之所以可以称作KSVD的简化版是因为KSVD在MOD的基础上做了顺序更新列的优化。关于KSVD和MOD的理论知识请见下面我给出的一页note和referenc中的paper。转载 2014-03-08 20:49:54 · 912 阅读 · 0 评论 -
压缩感知进阶——有关稀疏矩阵(转)
上一篇《初识压缩感知Compressive Sensing》中我们已经讲过了压缩感知的作用和基本想法,涉及的领域,本文通过学习陶哲轩对compressive sensing(CS)的课程,对压缩感知做进一步理解,针对其原理做出讲解。本文较为理论性,代码请参考《“压缩感知”之“Hello world”》。Keywords: 压缩感知 compressive sensing, 稀疏(Spa转载 2014-03-07 23:57:54 · 1161 阅读 · 0 评论 -
初识压缩感知Compressive Sensing(转)
压缩感知是近年来极为热门的研究前沿,在若干应用领域中都引起瞩目。最近粗浅地看了这方面一些研究,对于Compressive Sensing有了初步理解,在此分享一些资料与精华。本文针对陶哲轩和Emmanuel Candes上次到北京的讲座中对压缩感知的讲解进行讲解,让大家能够对这个新兴领域有一个初步概念。compressive sensing(CS) 又称 compressive转载 2014-03-07 23:59:24 · 1077 阅读 · 0 评论 -
压缩感知技术
2013.03.09 最近正在学习一个基于信号稀疏性或可压缩性的新兴采样理论——压缩感知理论。 压缩感知就是,对稀疏或可压缩信号可通过远低于Shannon-Nyquist采样定理标准的方式进行采样数据,其仍能够实现稀疏或可压缩信号的精确重构,这使得其在信号处理领域中有着突出的优点和潜在的应用前景。 在这里,我提供一些压缩感知理论和机器学习转载 2014-03-08 00:05:29 · 1715 阅读 · 0 评论 -
“压缩感知” 之 “Hello World”(转)
上一篇《压缩感知进阶——有关稀疏矩阵》中我们已经讲过了压缩感知原理、应用领域、可行性以及恢复信号机制,后面有朋友陆续反应希望有一个CS版Helloworld,这里我就借用香港大学沙威大牛的一个程序在代码层面对CS做一讲解。Keywords: 压缩感知 compressive sensing, 稀疏(Sparsity)、不相关(Incoherence)、随机性(Randomness)转载 2014-03-07 23:57:10 · 1225 阅读 · 1 评论 -
Learning the parts of object by NMF
本文为Letters to nature上文章Learning the parts of objects by non-negativematrix factorization的读书笔记,针对如何基于NMF在神经网络中学习一个object的各层part做出理论上的分析,并在人脸part学习和text语义特征学习上做了相应实验。本文不含如何去解NMF,只给出非负约束下矩阵分解的结果。转载 2014-03-08 20:51:06 · 1227 阅读 · 0 评论 -
【deep learning】
Andrew Ng homepage:http://robotics.stanford.edu/~ang/【CSDN综合编译】Google本月收购了加拿大神经网络方面的创业公司 DNNresearch,公司由Geoffrey Hinton与他的两个研究生Alex Krizhevsky和Ilya Sutskever于去年成立。Geoffrey Hinton是Deep Learning领域转载 2014-03-15 19:37:02 · 779 阅读 · 0 评论 -
左路Deep Learning+右路Knowledge Graph,谷歌引爆大数据
摘要:文章来自邓侃的博客。数据革命迫在眉睫。各大公司重兵集结,虎视眈眈。Google 兵分两路,左路以 Jeff Dean 和 Andrew Ng 为首,重点突破 Deep Learning 等等算法和应用,右路军由Amit Singhal领军,目标是构建Knowledge Graph基础设施。而在攻克技术难题之后,就是动用资本和商业的强力手段,跑马圈地了。文章来自邓侃的博客。数据革命转载 2014-03-15 19:37:59 · 793 阅读 · 0 评论 -
前馈网络及反向传播
本文主要介绍多层感知器模型(MLP),它也可以看成是一种logister回归,输入层通过非线性转换,即通过隐含层把输入投影到线性可分的空间中。如果我们在中间加一层神经元作为隐含层,则它的结构如下图所示 单隐层的MLP定义了一个映射: ,其中 D和L为输入向量和输出向量f(x)的大小。 隐含层与输出层神经元的值通过激活函数计算出来,例如下图:如果我们选用s转载 2014-03-22 20:32:16 · 2283 阅读 · 0 评论 -
深度信念网络(DBN)
深度神经网路已经在语音识别,图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。1. 自联想神经网络与深度网络 自联想神经网络是很古老的神经网络模型,简单的说,它就是三层BP网络,只不过它的输出等于输入。很多时候我们并不要求输出精确的等于输入,而是允许一定转载 2014-03-22 20:29:48 · 9277 阅读 · 1 评论 -
卷积神经网络(CNN)
在上篇中介绍的输入层与隐含层的连接称为全连接,如果输入数据是小块图像,比如8×8,那这种方法是可行的,但是如果输入图像是96×96,假设隐含层神经元100个,那么就有一百万个(96×96×100)参数需要学习,向前或向后传播计算时计算时间也会慢很多。 解决这类问题的一种简单方法是对隐含单元和输入单元间的连接加以限制:每个隐含单元仅仅只能连接输入单元的一部分。例如,每个隐含单元仅仅连接输入转载 2014-03-22 20:31:07 · 3127 阅读 · 0 评论 -
深度学习总结——感自中科院吴怀宇教授
深度学习总结—— 感自中科院吴怀宇教授参考http://www.sigvc.org/bbs/forum.php?mod=viewthread&tid=3322提示:图灵测试(Turing Testing)是计算机是否真正具有人工智能的试金石。“计算机科学之父”及“人工智能之父”英国数学家阿原创 2014-05-07 09:38:55 · 4716 阅读 · 0 评论 -
强化学习全解
很多人说,强化学习被认为是真正的人工智能的希望。本文将从7个方面带你入门强化学习,让你对强化学习及实战中实现算法有着更透彻的了解。http://36kr.com/p/5064302.html转载 2017-03-13 16:32:02 · 1904 阅读 · 0 评论