2016年01月_mydear_11000

转载二十九(Sparse coding练习)

前言　　本节主要是练习下斯坦福DL网络教程UFLDL关于Sparse coding那一部分，具体的网页教程参考：Exercise:Sparse Coding。该实验的主要内容是从2w个自然图像的patches中分别采用sparse coding和拓扑的sparse coding方法进行学习，并观察学习到的这些图像基图像的特征。训练数据时自然图片IMAGE，在给出的教程网站上有。　

2016-01-14 07:59:52 596

转载二十八(使用BP算法思想求解Sparse coding中矩阵范数导数)

前言：　　关于Sparse coding目标函数的优化会涉及到矩阵求数问题，因为里面有好多矩阵范数的导数，加上自己对矩阵运算不熟悉，推导前面博文Deep learning：二十六(Sparse coding简单理解)中关于拓扑（非拓扑的要简单很多）Sparse coding代价函数对特征变量s导数的公式时，在草稿纸上推导了大半天也没有正确结果。该公式表达式为：　　　　后面继续看UF

2016-01-14 07:59:10 662

转载二十七(Sparse coding中关于矩阵的范数求导)

前言：　　由于在sparse coding模型中求系统代价函数偏导数时需要用到矩阵的范数求导，这在其它模型中应该也很常见，比如说对一个矩阵内的元素值进行惩罚，使其值不能过大，则可以使用F范数（下面将介绍）约束，查阅了下矩阵范数求导的相关资料，本节就简单介绍下。　　首先，网络上有大把的人把2范数和F=2时的范数混为一谈，或者说把矩阵p范数和诱导p范数混淆了（也有可能是因为各个版本书所定义的不

2016-01-14 07:58:40 3317

转载二十六(Sparse coding简单理解)

Sparse coding：　　本节将简单介绍下sparse coding(稀疏编码)，因为sparse coding也是deep learning中一个重要的分支，同样能够提取出数据集很好的特征。本文的内容是参考斯坦福deep learning教程：Sparse Coding，Sparse Coding: Autoencoder Interpretation，对应的中文教程见稀疏编码，稀

2016-01-14 07:57:58 405

转载二十五(Kmeans单层网络识别性能)

前言：　　本文是用kmeans方法来分析单层网络的性能，主要是用在CIFAR-10图像识别数据库上。关于单层网络的性能可以参考前面的博文：Deep learning：二十(无监督特征学习中关于单层网络的分析)。当然了，本文依旧是参考论文An Analysis of Single-Layer Networks in Unsupervised Feature Learning, Adam Co

2016-01-14 07:57:14 697

转载二十四(stacked autoencoder练习)

前言：　　本次是练习2个隐含层的网络的训练方法，每个网络层都是用的sparse autoencoder思想，利用两个隐含层的网络来提取出输入数据的特征。本次实验验要完成的任务是对MINST进行手写数字识别，实验内容及步骤参考网页教程Exercise: Implement deep networks for digit classification。当提取出手写数字图片的特征后，就用soft

2016-01-14 07:56:41 1678

转载二十三(Convolution和Pooling练习)

前言：　　本次实验是练习convolution和pooling的使用，更深一层的理解怎样对大的图片采用convolution得到每个特征的输出结果，然后采用pooling方法对这些结果进行计算，使之具有平移不变等特性。实验参考的是斯坦福网页教程：Exercise:Convolution and Pooling。也可以参考前面的博客：Deep learning：十七(Linear Decod

2016-01-14 07:55:55 599

转载二十二(linear decoder练习)

前言：　　本节是练习Linear decoder的应用，关于Linear decoder的相关知识介绍请参考：Deep learning：十七(Linear Decoders，Convolution和Pooling)，实验步骤参考Exercise: Implement deep networks for digit classification。本次实验是用linear decoder的s

2016-01-14 07:55:16 334

这又是Ng团队的一篇有趣的paper。Ng团队在上篇博客文章Deep learning：二十(无监督特征学习中关于单层网络的分析)中给出的结论是：网络中隐含节点的个数，convolution尺寸和移动步伐等参数比网络的层次比网络参数的学习算法本身还要重要，也就是说即使是使用单层的网络，只要隐含层的节点数够大，convolution尺寸和移动步伐较小，用简单的算法（比如kmeans算法）也可取得不亚

2016-01-14 07:54:17 497

转载一些代码优化的方法

谈到优化，很多人都会直接想到汇编。难道优化只能在汇编层次吗？当然不是，C++层次一样可以作代码优化，其中有些常常是意想不到的。在C++层次进行优化，比在汇编层次优化具有更好的移植性，应该是优化中的首选做法。1 确定浮点型变量和表达式是 float 型为了让编译器产生更好的代码(比如说产生3DNow! 或SSE指令的代码)，必须确定浮点型变量和表达式是 float 型的。要特别注意的是，以

2016-01-13 14:30:59 4514 1

转载 caffe 之 protobuf

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。作者：Vinjn张静链接：http://zhuanlan.zhihu.com/hacker-and-painter/20435591来源：知乎Protobuf 定义Protobuf 是google开源的一个序列化协议，可以通过在proto文件中定义结构化类型，生成平台无关的C++、Java、Python

2016-01-12 14:47:36 1090

转载 Introduction to Petuum

https://github.com/petuum/bosen/wikiForeword - please readPetuum is a distributed machine learning framework. It takes care of the difficult system "plumbing work", allowing you to focus o

2016-01-12 14:28:54 762

slamer的专栏