2016年10月_三更灯火五更鸡

12月 11月 10月 09月 08月 07月 06月 05月 04月

转载【深度学习Deep Learning】资料大全

最近在学深度学习相关的东西，在网上搜集到了一些不错的资料，现在汇总一下：Free Online BooksDeep Learning66 by Yoshua Bengio, Ian Goodfellow and Aaron CourvilleNeural Networks and Deep Learning42 by Michael NielsenDeep Learning27 b

2016-10-31 15:54:00 1083 1

转载 ImageNet Classification with Deep Convolutional Neural Networks (AlexNet)翻译

ImageNet Classification with Deep Convolutional Neural NetworksAlex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton摘要我们训练了一个大型的深度卷积神经网络，来将在ImageNet LSVRC-2010大赛中的120万张高清图像分为1000个不同的类别。对测试数据

2016-10-30 20:52:01 1043

转载 AlexNet 和 VGG-Net的区别

原文：http://www.ithao123.cn/content-8359874.html摘要－今年的 CVPR 非常的火爆，总共有2800多人参与，相比去年增加了700多人，这与deep learning的异军突起是不无关系的。CVPR 2015 基本是 “the year of deep learning”，有大概70%的文章是关于deep learning的。今年的 C

2016-10-30 18:59:47 4011

转载人脸识别 - A Discriminative Feature Learning Approach for Deep Face Recognition

A Discriminative Feature Learning Approach for Deep Face Recognition ECCV 2016code: https://github.com/ydwen/caffe-face本文针对人脸识别问题，针对 loss function提出了加入 center loss，使得学习到地深度特征更加 discriminati

2016-10-28 22:41:08 1272 1

转载深度学习调参数

这次活动的主题是 hyperparameter optimization 和 bayesian optimization，简单说就是如何更有效率地调参，或者。。如何调得一手好参。这个方向近几年论文出来不少，研究潜力不小；而且实用性很强，不仅可用在深度学习中，也可用于其他机器学习方法的调参。选几篇论文讨论清楚，我想无论对学术还是工程都会有不小帮助。主要讨论以下几篇论文：1

2016-10-28 15:21:23 3022

转载 An overview of gradient descent optimization algorithms

前言这里讨论的优化问题指的是，给定目标函数f(x)，我们需要找到一组参数x，使得f(x)的值最小。本文以下内容假设读者已经了解机器学习基本知识，和梯度下降的原理。SGDSGD指stochastic gradient descent，即随机梯度下降。是梯度下降的batch版本。对于训练数据集，我们首先将其分成n个batch，每个batch包含m个样本。我们每次

2016-10-28 14:59:46 465

转载 An overview of gradient descent optimization algorithms

19 Jan 2016 in OPTIMIZATION DEEP LEARNING SGD ~ 20 min read.An overview of gradient descent optimization algorithmsTable of contents:Gradient descent variantsBatch grad

2016-10-28 14:58:25 459

转载 momentum 深度学习

momentum是用来修改检索方向加快收敛速度的一种简单方法，一般的通过加入之前的梯度来修改更新梯度步长：表示当前计算出来的梯度，表示上一次的梯度值，表示本次需要更新的梯度值，α表示momentum系数，是用来加权之前梯度方向对现在梯度下降方向的影响。一般的momentum系数从0.5--0.99

2016-10-28 14:24:11 1507

转载 c++ bitset类用法

有些程序要处理二进制位的有序集，每个位可能包含的是0（关）或1（开）的值。位是用来保存一组项或条件的yes/no信息（有时也称标志）的简洁方法。标准库提供了bitset类使得处理位集合更容易一些。要使用bitset类就必须要包含相关的头文件。在本书提供的例子中，假设都使用了std::bitset的using声明：[cpp] view plain copy

2016-10-28 01:13:04 299

转载神经⽹络与深度学习 Neural Networks and Deep Learning

http://neuralnetworksanddeeplearning.com/关于作者http://michaelnielsen.org/Referencehttp://en.wikipedia.org/wiki/Frank_Rosenblatt感知器在 20 世纪五、六⼗年代由科学家 Fr

2016-10-27 20:37:30 2261

转载 RELU 激活函数及其他相关的函数

本博客仅为作者记录笔记之用，不免有很多细节不对之处。还望各位看官能够见谅，欢迎批评指正。更多相关博客请猛戳：http://blog.csdn.net/cyh_24如需转载，请附上本文链接：http://blog.csdn.net/cyh_24/article/details/50593400日常 coding 中，我们会很自然的使用一些激活函数，比如：sigmo

2016-10-27 20:04:32 667

转载 Hinton关于RBM的代码注解之（一）rbm.m

这个是Hinton关于RBM的pre-training的代码。源代码网址：http://www.cs.toronto.edu/~hinton/MatlabForSciencePaper.html%%%%%%%%%%%%%%rbm.mepsilonw = 0.1; % Learning rate for weights epsilonvb

2016-10-26 21:28:45 642

转载 TensorFlow 深度学习笔记 TensorFlow实现与优化深度神经网络

转载请注明作者：梦里风林Github工程地址：https://github.com/ahangchen/GDLnotes欢迎star，有问题可以到Issue区讨论官方教程地址视频/字幕下载全连接神经网络辅助阅读：TensorFlow中文社区教程 - 英文官方教程代码见：full_connect.pyLinear Model加载less

2016-10-26 16:22:02 583

转载 Deep Learning（深度学习) 学习笔记（一）

前言：昨天看到微博上分享的深度学习视频，为上海复旦大学吴立德教授深度学习课程，一共六课时，视频地址点击打开链接。在此我结合其他资料，写点个人的学习笔记进行记录。第一课：概述本课吴老师对深度学习做了一个简单的介绍。内容分为三块：1.深度学习简介 2.深度学习应用 3.领域概况1.深度学习简介深度学习（deep learning）是机器学习（

2016-10-25 21:29:42 566

转载深度学习方法：受限玻尔兹曼机RBM（三）模型求解，Gibbs sampling

欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。技术交流QQ群：433250724，欢迎对算法、技术、应用感兴趣的同学加入。接下来重点讲一下RBM模型求解方法，其实用的依然是梯度优化方法，但是求解需要用到随机采样的方法，常见的有：Gibbs Sampling和对比散度(contrastive divergence, CD[8])算法。RB

2016-10-25 15:56:44 638

转载深度学习方法：受限玻尔兹曼机RBM（四）对比散度contrastive divergence，CD

欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。技术交流QQ群：433250724，欢迎对算法、技术、应用感兴趣的同学加入上篇讲到，如果用Gibbs Sampling方法来训练rbm会非常慢，本篇中介绍一下对比散度contrastive divergence， CD算法。我们希望得到P(v)分布下的样本，而我们有训练样本，可以认为训练

2016-10-25 15:11:44 534

转载马尔科夫随机场和马尔科夫链

1.什么是随机过程？在当代科学与社会的广阔天地里，人们都可以看到一种叫作随机过程的数学模型：从银河亮度的起伏到星系空间的物质分布、从分子的布朗运动到原子的蜕变过程，从化学反应动力学到电话通讯理论、从谣言的传播到传染病的流行、从市场预测到密码破译，随机过程理论及其应用几乎无所不在。人类历史上第一个从理论上提出并加以研究的过程模型是马尔科夫链，它是马尔科夫对概率论乃至人类思想发展作出的又一伟大

2016-10-25 14:52:34 585

转载深度学习(Deep Learning) 学习资料

深度学习，是当前热门的机器学习领域。最近开始想系统学习一下，整理了一些网上学习资料，也供有共同兴趣的朋友参考。如果有好的推荐，也欢迎给我留言。学习网站1. Deep Learning 101 http://markus.com/deep-learning-101/?utm_campaign=Manong_Weekly_Issue_11&utm_m

2016-10-24 22:07:37 448

转载深度学习：Hinton_Science_Reducing the dimensionality of data with neural networks

近日，闲来得空，又不停的听到Deep learning （DL）相关的突破~故来研究下Deep learning的相关东西~在Deep learning 的学习资源中找到，关于Deep belief network的相关资源http://www.cs.toronto.edu/~hinton/MatlabForSciencePaper.html这个资源的下载并运行，有

2016-10-24 21:42:19 502

转载资源推荐 | TensorFlow电子书《FIRST CONTACT WITH TENSORFLOW》

资源推荐 | TensorFlow电子书《FIRST CONTACT WITH TENSORFLOW》2016-06-29 系统科学社本书由 UPC Barcelona Tech大学教授Jordi Torres（个人主页 http://www.jorditorres.org/curriculumvitae/brief-curriculum-vitae/）所著

2016-10-24 19:38:09 3269

转载 Tensorflow入门资源

TensorFlow 官方文档中文版英文官方网站官方GitHub仓库中文版 GitHub 仓库TensorFlow-ExamplesModels built with TensorFlow谷歌制作的Tensorflow深度学习公开课将教授如何训练和优化基本神经网络、卷积神经网络和长短期记忆网络。将通过项目和任务接触完整的机器学习系统TensorFlow。学习解决一系列曾经以为非常具有挑战性的

2016-10-24 19:33:29 335

转载深度学习(Deep Learning) 学习资料

2016-10-24 18:44:39 617

转载深度学习的一些教程

转自：http://baojie.org/blog/2013/01/27/deep-learning-tutorials/几个不错的深度学习教程，基本都有视频和演讲稿。附两篇综述文章和一副漫画。还有一些以后补充。Jeff Dean 2013 @ Stanfordhttp://i.stanford.edu/infoseminar/dean.pdf

2016-10-23 10:14:42 1293

转载《机器学习&&深度学习》视频课程资源百度云下载

《机器学习&&深度学习》视频课程资源百度云下载。林轩田：机器学习基石链接：http://pan.baidu.com/s/1qXSKZP64 密码：dwie林轩田：機器學習技法 (Machine Learning Techniques)链接：http://pan.baidu.com/s/1i5I0kZj3 密码：zwceandrew Ng视频课程和讲义链接：

2016-10-23 09:51:42 7596 1

转载神经网络为什么要归一化

用神经网络的小伙伴都知道，数据需要做归一化，但是为什么要做归一化，这个问题一直模梭两可，网上也没有较全的回答，小编花费了一段时间，作了一些研究，给大家仔细分析分析，为什么要做归一化：1.数值问题。无容置疑，归一化的确可以避免一些不必要的数值问题。输入变量的数量级未致于会引起数值问题吧，但其实要引起也并不是那么困难。因为tansig的

2016-10-17 21:01:33 22530

转载 Sublime Text 3 快捷键汇总

Sublime Text 3非常实用，但是想要用好，一些快捷键不可或缺，所以转了这个快捷键汇总。用惯了vim，有些快捷键也懒得用了，尤其是在win下面，还有图形界面，所以个人觉得最有用的还是搜索类，对于阅读和修改代码来说，非常实用。选择类Ctrl+D 选中光标所占的文本，继续操作则会选中下一个相同的文本。Alt+F3 选中文本按下快捷键，即可一次性选择全

2016-10-17 10:24:16 318

转载 CS231n课程笔记翻译

贺完结！CS231n官方笔记授权翻译总集篇发布 - 智能单元 - 知乎专栏 https://zhuanlan.zhihu.com/p/21930884CS231n课程笔记翻译：图像分类笔记（上） - 智能单元 - 知乎专栏https://zhuanlan.zhihu.com/p/20894041 CS231n课程笔记翻译：图像分类笔记（下） -

2016-10-14 11:39:36 538

转载 UFLDL_Tutorial 笔记（deep learning绝佳的入门资料）

推荐一个deep learning绝佳的入门资料 * UFLDL(Unsupervised Feature Learning and Deep Learning)教程http://deeplearning.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B 故意把链接地址也写出来，方便看到来源，嘿嘿。资料写得相当赞，还有中文版。看

2016-10-12 17:19:32 879

转载【面向代码】学习 Deep Learning（四） Stacked Auto-Encoders(SAE)

==========================================================================================最近一直在看Deep Learning，各类博客、论文看得不少但是说实话，这样做有些疏于实现，一来呢自己的电脑也不是很好，二来呢我目前也没能力自己去写一个toolbox只是跟着Andrew Ng的

2016-10-12 14:10:59 403

转载【面向代码】学习 Deep Learning（三）Convolution Neural Network(CNN)

最近一直在看Deep Learning，各类博客、论文看得不少但是说实话，这样做有些疏于实现，一来呢自己的电脑也不是很好，二来呢我目前也没能力自己去写一个toolbox只是跟着Andrew Ng的UFLDL tutorial 写了些已有框架的代码(这部分的代码见github)后来发现了一个matlab的Deep Learning的toolbox，发现其代码很简单，感觉比较适

2016-10-12 14:09:50 523

转载【面向代码】学习 Deep Learning（二）Deep Belief Nets(DBNs)

2016-10-12 14:08:55 413

转载【面向代码】学习 Deep Learning（一）Neural Network

2016-10-12 14:08:15 529

转载 Opencv2.4.9源码分析

赵春江的专栏

2016-10-12 08:49:42 411

转载 UFLDL教程练习（exercise）答案（1）

之前看过Andrew NG大神写的UFLDL教程，觉得很不错，不过一直比较懒，没有动手做里面的练习，最近做了一下，感觉很有意思。下面是《稀疏自编码器》和《矢量化编程实现》这两节我自己实现的练习答案，不保证完全正确，不过结果和网站上面给出的基本一致。稀疏自编码器step1在sampleIMAGES.m文件中完成生成训练集的代码，如下，tic和t

2016-10-11 20:55:55 670

转载 Deep learning：九(Sparse Autoencoder练习)

前言：　　现在来进入sparse autoencoder的一个实例练习，参考Ng的网页教程：Exercise:Sparse Autoencoder。这个例子所要实现的内容大概如下：从给定的很多张自然图片中截取出大小为8*8的小patches图片共10000张，现在需要用sparse autoencoder的方法训练出一个隐含层网络所学习到的特征。该网络共有3层，输入层是64个节点，隐含层是

2016-10-11 20:55:10 651

转载 UFLDL练习(Sparse Autoencoder)

最近开始学习UFLDL，一个deep learning的教程这个练习的地址：http://deeplearning.stanford.edu/wiki/index.php/Exercise:Sparse_AutoencoderSparse Autoencoder是用神经网络进行feature learning的一个算法，详细的就见教程，我只是贴贴代码从早上十点多一直de

2016-10-11 20:38:54 479

转载信息论

信息论（Information Theory）是概率论与数理统计的一个分枝。用于信息处理、信息熵、通信系统、数据传输、率失真理论、密码学、信噪比、数据压缩和相关课题。基本概念先说明一点：在信息论里面对数log默认都是指以2为底数。自信息量联合自信息量条件自信息量信息熵条件熵联合熵根据链式规则，有可以得出信息增益Inform

2016-10-11 20:15:27 1431

转载机器学习之--损失函数

此文章翻译至机器学习的一章讲义： http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf损失函数。我们能得到一般化的损失函数表达式，如下（14.1），在（14.1）中，我们注意到损失函数有两部分组成：损失项和规则项。我们将会在接下来的章节中介绍这两部分。一、损失

2016-10-11 20:09:57 1428

转载交叉熵代价函数(损失函数)及其求导推导

前言交叉熵损失函数交叉熵损失函数的求导前言

2016-10-11 20:08:14 2151

转载 Hamming Embedding 汉明嵌入

基于Hamming embedding and weak geometric consistency for large scale image search论文的学习博客本文从两个方面来介绍HE算法： 1.简要介绍一下BOF，以及它的投票机制 2.针对BOF的改进，局部图像描述子的汉明嵌入voting interpretation of bag-of-featu

2016-10-11 20:01:09 2896