liuheng0111的博客

caffe官方文档：http://nbviewer.jupyter.org/github/BVLC/caffe/blob/master/examples/00-classification.ipynb1准备工作1.1 安装python，numpy，matplotlib[cpp] view plain copy #安装python、numpy、matplo

~~因为不太会使用OpenCV、matlab工具，所以在找一些比较简单的工具。. .一、NLP标注工具BRATBRAT是一个基于web的文本标注工具，主要用于对文本的结构化标注，用BRAT生成的标注结果能够把无结构化的原始文本结构化，供计算机处理。利用该工具可以方便的获得各项NLP任务需要的标注语料。以下是利用该工具进行命名实体识别任务的标注例子。WeTest舆情团队在

深度学习训练需要标记图像位置和类别，之前用的时候是叫做BBox-Label-Tool-master，遇到大图像就显示不完整了，没有自适应缩放， 这是改进后的Python脚本。目录结构：图片目录名images, 标签目录名labels，图像目录下各类别目录名要以001,002,003,...的格式命名。这是运行labelTool ( python main.py)时的截屏

搜集了许多CBIR的数据集，后续还会有添加。INRIA HolidaysINRIA Holidays dataset，Herve Jegou等人使用的数据集，该数据集是他们研究所经常度假时拍的图片（风景为主），一共1491张图，500张query（一张图一个group）和对应着991张相关图像，已提取了128维的SIFT点4455091个，visual dictionaries来自Fl

图像检索公开数据集搜集了许多CBIR的数据集，后续还会有添加。INRIA HolidaysINRIA Holidays dataset，Herve Jegou等人使用的数据集，该数据集是他们研究所经常度假时拍的图片（风景为主），一共1491张图，500张query（一张图一个group）和对应着991张相关图像，已提取了128维的SIFT点44550

Eigen非常方便矩阵操作，当然它的功能不止如此，由于本人只用到了它的矩阵相关操作，所以这里只给出了它的一些矩阵相关的简单用法，以方便快速入门。矩阵操作在算法研究过程中，非常重要，例如在图像处理中二维高斯拟合求取光斑中心时使用Eigen提供的矩阵算法，差不多十来行代码即可实现，具体可见：http://blog.csdn.NET/hjx_1000/article/details/8490653

http://www.sdifenzhou.com/securecrt802.html

Deep Compositional Captioning: Describing Novel Object Categories Without Paired Training DataLisa Anne Hendricks,Subhashini Venugopalan,Marcus Rohrbach,Raymond Mooney,Kate Sae

前言windows对于utf-8编码的文件自带BOM，但是其他系统utf-8编码默认不带BOM。这就造成在某些情况下字符解码会出现问题，比如Python自带的json在读取在window下编码得来的utf-8文件时，会报如下错误: ValueError: No JSON object could be decodedBOMFrom Wikipedia,

排序算法可以分为内部排序和外部排序，内部排序是数据记录在内存中进行排序，而外部排序是因排序的数据很大，一次不能容纳全部的排序记录，在排序过程中需要访问外存。常见的内部排序算法有：插入排序、希尔排序、选择排序、冒泡排序、归并排序、快速排序、堆排序、基数排序等。算法一：插入排序插入排序是一种最简单直观的排序算法，它的工作原理是通过构建有序序列，对于未排序数据，在已排序序

图像拼接的基本流程(1) 图像预处理：对原始图像进行直方图匹配、平滑滤波、增强变换等数字图像处理的基本操作，为图像拼接的下一步作好准备。(2) 图像配准：图像配准是整个图像拼接流程的核心，配准的精度决定了图像的拼接质量。其基本思想是：首先找到待配准图像与参考图像的模板或特征点的对应位置，然后根据对应关系建立参考图像与待配准图像之间的转换数学模型，将待配准图像转换到参考图像的

本篇博文主要介绍使用Python中的matplotlib模块进行简单画图功能，我们这里画出了一个柱形图来对比两位同学之间的不同成绩，和使用pandas进行简单的数据分析工作，主要包括打开csv文件读取特定行列进行加减增加删除操作，计算滑动均值，进行画图显示等等；其中还包括一段关于ipython的基本使用指令，比较naive欢迎各位指正交流！mlp.rc动态配置你

我们做软件开发的人，自己电脑上往往装的都是windows操作系统，但是有时候常常需要操作一些Linux命令。常用的办法是在电脑上面安装一个VMware虚拟机，里面再安装一个linux操作系统，我虚拟机中安装的是Ubuntu10.04。      物理机上安装一个虚拟机，就要考虑它们之间如何通信的问题。应该怎么在物理机（安装的是windows）和虚拟机（安装的是linux）之间进行通信呢（准

Ubuntu：1.安装XrdpWindows远程桌面使用的是RDP协议，所以ubuntu上就要先安装Xrdp，终端命令行输入安装：sudo apt-get install xrdp vnc4server xbase-clients2.设置开启⑴ IP地址设置为静态⑵在/usr/share/applications目录下打开“桌面共

It’s not a bad time to be a Data Scientist. Serious people may find interest in you if you turn the conversation towards “Big Data”, and the rest of the party crowd will be intrigued when you mention

一、文档目的本文描述了在geomodel模块中，生成泰森多边形所使用的算法。二、概述GIS和地理分析中经常采用泰森多边形进行快速插值，和分析地理实体的影响区域，是解决邻接度问题的又一常用工具。荷兰气候学家A·H·Thiessen提出了一种根据离散分布的气象站的降雨量来计算平均降雨量的方法，即将所有相邻气象站连成三角形，作这些三角形各边的垂直平分线，于是每个气象站周围的若干垂

matplotlib初探最近摸索了Python的画图库Matplotlib，其画的图要多炫丽有多炫丽，要多优雅有多优雅，真的有被震撼到，最近项目要求需要画图，考虑到matlab虽然博大精深，但却不易上手，貌似网上最近也在盛传“是否matplotlib能取代matlab”的诸多言论，对于一个旁观者和门外汉，我不做评论，我只有一个理念：什么好学用什么。另外，对于语言的学习和掌握，我现在有一

给定一个由类似K-means算法得到的码本和一个从某张图像提取到的局部描述子集合。VLAD算法包括如下步骤    （1） 赋值，把每个描述子赋给最近的码本：        （2）（3）计算Voronoi区域的：      最后将所有区域得到的向量串在一起并做归一化。（1）（2）（3）三步骤可用如下图表示：

在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了详细说明。本文主要针对如何用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GMM模型：每个 GMM 由 K 个 Gaussian 分布组成，每

聚类算法是ML中一个重要分支，一般采用unsupervised learning进行学习，本文根据常见聚类算法分类讲解K-Means, K-Medoids, GMM, Spectral clustering，Ncut五个算法在聚类中的应用。Clustering Algorithms分类1. Partitioning approach:

fisher vector学习笔记：http://blog.csdn.net/happyer88/article/details/46576379 fisher vector改进：http://blog.csdn.net/happyer88/article/details/46625639使用vlfeat提取fisher vector的matlab 代码% 读入图片I = vl_

最近在看fisher vector的相关知识，fisher vector被广泛应用到了图像的分类，目标识别等领域，特别是结合着BOW model。    模式识别方法可以分为生成方法和判别方法。前者注重对类条件概率密度函数的建模，而后者聚焦于分类。而Fisher核方法同时具有这两种方法的优点[4]。这里fisher 核和fisher vector是不一样的(感觉像是废话)，其实在文章[4]

我写东西喜欢五颜六色，也喜欢通俗的来讲！哈哈。。。。核心：Fisher vector本质上是用似然函数的梯度vector来表达一幅图像基础知识的预备：1. 高斯分布生活和自然中，很多的事和物的分布都可以近似的看做是高斯分布。比如说：一个班的成绩的优良中差的分布。最优秀的和最差的往往都是少数，一般人是大多数。高斯分布直观的感受是这样的：这是这种分布的概

机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接(1) 牛顿法(2) 拟牛顿条件(3

机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接(1) 牛顿法(2) 拟牛顿条件(3

机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接(1) 牛顿法(2) 拟牛顿条件(3

机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接(1) 牛顿法(2) 拟牛顿条件(3

机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接(1) 牛顿法(2) 拟牛顿条件(3

Wolfe准则function [alpha, newxk, fk, newfk] = wolfe(xk, dk)rho = 0.25; sigma = 0.75;alpha = 1; a = 0; b = Inf; while (1) if ~(fun(xk+alpha*dk)'*dk) b = alpha; alpha = (alpha+a)/2;

进入算法研发部，在大致了解部门的项目构成，主要职责之后，我意识到最优化算法在各个项目组中都具有重要的作用，例如CTR预估、排序等。然而，由于自己在读博期间除了“逻辑回归”以外，没有系统参与过涉及最优化的项目，因此在还没有分配到具体任务的情况下，首先自发地对最优化算法的发展历程进行了调研。心得体会如下：最优化领域中的方法虽然“多如牛毛”，但是总体上还是沿着一条“主线”发展的。这里按照时间顺序

1.普通k-means给定n个p维数据点，D≡{Xj}nj=1，普通Kmeans算法将它们分成k个类别，每个类别有个类中心。目标函数是：  其中矩阵C的第i列是ci，分成m个类别，那么矩阵就有m列，b∈{0,1}k，且b 的模长为1，即b只有一个分量值为1，其余分量值为0。K-means算法之所以很难，其中一个原因是存在一个assignment过程，需要将数据集中每

Learning to HashPaper, Code and DatasetTable of ContentIntroductionTutorial SlidesData-Independent MethodLearning to Hash Method (Da

Define a model in PythonIt is also possible to define the net model directly in Python, and save it to a prototxt files. Here are the commands :from caffe import layers as Lfrom caffe imp

UPDATE! : my Fast Image Annotation Tool for Caffe has just been released ! Have a look !Caffe is certainly one of the best frameworks for deep learning, if not the best.Let’s try to put things

caffe的大多数层是由c++写成的，借助于c++的高效性，网络可以快速训练。但是我们有时候需要自己写点输入层以应对各种不同的数据输入，比如你因为是需要在图像中取块而不想写成LMDB，这时候可以考虑使用python直接写一个层。而且输入层不需要GPU加速，所需写起来也比较容易。python层怎么用先看一个网上的例子吧（来自http://chrischoy.github.io/res

caffe的大多数层是由c++写成的，借助于c++的高效性，网络可以快速训练。但是我们有时候需要自己写点输入层以应对各种不同的数据输入，比如你因为是需要在图像中取块而不想写成LMDB，这时候可以考虑使用Python直接写一个层。而且输入层不需要GPU加速，所需写起来也比较容易。python层怎么用先看一个网上的例子吧（来自http://chrischoy.github.io/res

Caffe通过Boost中的Boost.Python模块来支持使用Python定义Layer：使用C++增加新的Layer繁琐、耗时而且很容易出错开发速度与执行速度之间的trade-off编译支持Python Layer的Caffe如果是首次编译，修改Caffe根目录下的Makefile.cinfig，uncomment1W

本文分为两部分，先写一个入门的教程，然后再给出自己添加maxout与NIN的layer的方法（一）其实在Github上已经有答案了（https://github.com/BVLC/caffe/issues/684）Here's roughly the process I follow.Add a class declaration for your la

导言       本教程中，我们将会利用Caffe官方提供的深度模型——CaffeNet（该模型是基于Krizhevsky等人的模型的）来演示图像识别与分类。我们将分别用CPU和GPU来进行演示，并对比其性能。然后深入探讨该模型的一些其它特征。1、准备工作       1.1 首先，安装Python，numpy以及matplotlib。 #安装Python环境、nump

目录主要函数caffe_cpu_gemm 函数caffe_cpu_gemv 函数caffe_axpy 函数caffe_set 函数caffe_add_scalar 函数caffe_copy 函数caffe_scal 函数caffeine_cup_axpby 函数caffe_add caffe_sub caffe_mul caffe_div 函数caffe_powx caffe_sq

见代码及其注释（ps：：个人理解，如有误，欢迎指正）#ifdef WITH_PYTHON_LAYER#include "boost/python.hpp"namespace bp = boost::python;#endif#include #include #include #include #include #include #include "boost/alg

转自：http://blog.sina.com.cn/s/blog_6833a4df01012bcf.html牛人主页（主页有很多论文代码）Serge Belongie at UC San DiegoAntonio Torralba at MITAlexei Ffros at CMUCe Liu at Microsoft Research N

前言首先来一波地址：happynear大神的第三方caffe：http://blog.csdn.net/happynear/article/details/45372231Neil Z大神的第三方caffe：https://initialneil.wordpress.com/2015/01/11/build-caffe-in-windows-with-visual-stud

在尝试了编译官方的之后，我算是彻底放弃了，安装完依赖后，发现vs有些特性不支持。。。搞到要彻底崩溃，可能是刚接触这玩意，后续如果可以应该还是可以编译出来（以后再给出编译过程，这里只介绍如何编译微软移植的caffe的编译过程）。当然微软自己移植了自己的caffe，所以就不用尝试编译官方的caffe了，编译确实很方便。废话少说直接到官方下载：https://github.c

caffe.cpp  程序入口分析， （1）main()函数中，输入的train，test，device_query，time。 通过下面两行进入程序。    if (argc == 2) {    return GetBrewFunction(caffe::string(argv[1]))(); （2）GetBrewFunction（）函数定义如下，其返回Br

改变Eclipse提示框的黑色背景最新版的Eclipse 3.6跟最新版的Ubuntu主题（我现在是用11.04，不知道是从哪个版本开始换了这个主题）相遇的时候，就会出现一点点问题：在编辑框中弹出的自动 工具提示（tooltip）背景是纯黑色，结果提示中的文字也是黑色，根本看不清。如下图所示：　　　　变成这样的原因是：Ubuntu的主题中Tooltip的背景是黑色，但是前景色是白色；这

详细的makefile 教程，请参考：http://wiki.ubuntu.org.cn/%E8%B7%9F%E6%88%91%E4%B8%80%E8%B5%B7%E5%86%99Makefile

1。 通过rdesktop工具连接Windows远程桌面没有安装用命令：sudo apt-get install rdesktop安装后，可以用如下命令：rdesktop -f -a 16 -u administrator -p passwrod feelamcheung 192.168.0.2:8080    -u 和 -p: 指定用户名和密码  

本文地址：http://blog.csdn.net/mounty_fsc/article/details/510898641 运行范例脚本train_lenet.shUbuntu下终端行执行train_lenet.sh可训练lenet-5（详细情况参考其他教程），能直观地看到lenet训练起来带情况。 train_lenet.sh中内容为：./build/too

首先确保你caffe编译成功，而且makefile.config中将DEBUG：=1那一行取消注释，我的caffe根目录为 caffe-master。你也可以在Eclipse中编译caffe，我是先编译好caffe，然后进入Eclipse中调试1、eclipse 下载网址http://www.eclipse.org/downloads/下载eclipse IDE for

转载请注明出处lingdxuyan.blog.chinaunix.net 一步步将vim改造成C/C++开发环境(IDE)原文地址http://blog168.chinaunix.net/space.php?uid=23089249&do=blog&id=2855999【参考资料】吴垠的“手把手教你把Vim改装成一个IDE编程环境”在Fedora下成功将Vim打造成适用于C

关于triplet loss的原理，目标函数和梯度推导在上一篇博客中已经讲过了，具体见：triplet loss原理以及梯度推导，这篇博文主要是讲caffe下实现triplet loss，编程菜鸟，如果有写的不优化的地方，欢迎指出。1.如何在caffe中增加新的layer新版的caffe中增加新的layer，变得轻松多了，概括说来，分四步：1）在./src/caffe/prot

【前言】 最近，learning to rank 的思想逐渐被应用到很多领域，比如google用来做人脸识别（faceNet），微软Jingdong Wang 用来做 person-reid 等等。learning to rank中其中重要的一个步骤就是找到一个好的similarity function，而triplet loss是用的非常广泛的一种。【理解triplet】如上图所

查找目录下的所有文件中是否含有某个字符串 find .|xargs grep -ri "IBM" 查找目录下的所有文件中是否含有某个字符串,并且只打印出文件名 find .|xargs grep -ri "IBM" -l 1.正则表达式    （1）正则表达式一般用来描述文本模式的特殊用法，由普通字符（例如字符a-z）以及特殊字符（称为元字符，如/、*、?等）组成。   （

==========================================================================================最近一直在看Deep Learning，各类博客、论文看得不少但是说实话，这样做有些疏于实现，一来呢自己的电脑也不是很好，二来呢我目前也没能力自己去写一个toolbox只是跟着Andrew Ng的

前言　　训练神经网络模型时，如果训练样本较少，为了防止模型过拟合，Dropout可以作为一种trikc供选择。Dropout是hintion最近2年提出的，源于其文章Improving neural networks by preventing co-adaptation of feature detectors.中文大意为：通过阻止特征检测器的共同作用来提高神经网络的性能。本篇博文就是按

如何在caffe中自定义网络层尽管Caffe已经为用户提供了相当多的可用的层，但是面对各种各样的深度学习应用，这些层是远远不够的，为此，我们可能需要定义自己的层来达到特定的功能。一般情况下，如果仅仅需要对某个层进行少量的修改，可以直接修改源码中对应的层，然后重新编译。这种方法好处就是不需要去建立新的文件，也不需要修改proto等，但是坏处也很明显，你无法再使用原来的这个层，如果你确

如何使用Google日志库 (glog)http://google-glog.googlecode.com/svn/trunk/doc/glog.html介绍Google glog是一个应用层的库. 它提供基于C++风格的流和多种宏接口.例如: #include int main(int argc, char* argv[]) { // Initiali

gflags是什么：gflags是google的一个开源的处理命令行参数的库，使用c++开发，具备python接口，可以替代getopt。gflags使用起来比getopt方便，但是不支持参数的简写（例如getopt支持--list缩写成-l，gflags不支持）。如何安装使用gflags：安装：请访问地址https://code.google.com/p/gflags/，下载

端模式（Endian）的这个词出自JonathanSwift书写的《格列佛游记》。这本书根据将鸡蛋敲开的方法不同将所有的人分为两类，从圆头开始将鸡蛋敲开的人被归为Big Endian，从尖头开始将鸡蛋敲开的人被归为Littile Endian（这句话最为形象）。小人国的内战就源于吃鸡蛋时是究竟从大头（Big-Endian）敲开还是从小头（Little-Endian）敲开。在计算机业Big

阅读论文Learning Structured Low-rank Representations for Image Classification文章主要有两个创新点1.在普通的低秩表示外另外加了对低秩表示的系数需要稀疏，这个的物理意义就是使得得出的低秩表示矩阵更有有分类性，更加表征它属于哪一类。2。加入了一个低秩的约束，先给出了一个理想化的低秩表示的形式，再使得我们求解的低秩表示接近

一般我们在Linux下执行某些外部程序的时候可能会提示找不到共享库的错误, 比如:tmux: error while loading shared libraries: libevent-1.4.so.2: cannot open shared object file: No such file or directory原因一般有两个, 一个是操作系统里确实没有包含该共

查找目录下的所有文件中是否含有某个字符串 find .|xargs grep -ri "IBM" 查找目录下的所有文件中是否含有某个字符串,并且只打印出文件名 find .|xargs grep -ri "IBM" -l 1.正则表达式    （1）正则表达式一般用来描述文本模式的特殊用法，由普通字符（例如字符a-z）以及特殊字符（称为元字符，如/、*、?等）组成。   （

图像检索：基于深度学习的CBIRDL用于CBIR这类文章还是挺少的。下面是自己搜集到的DL用于CBIR方面的一些文章。Deep Learning for Content-Based Image Retrieval:A Comprehensive StudyNeural Codes for Image RetrievalSupervised Hashing f

版权声明：本文为博主原创文章，未经博主允许不得转载。Free Online BooksDeep Learning by Yoshua Bengio, Ian Goodfellow and Aaron Courville (05/07/2015)Neural Networks and Deep Learning by Michael Nielsen (Dec 2014)Deep

感谢这三位博主的博文，对个人了解caffe源码有了很大的帮助，特记录再次，方便其他朋友使用。1.http://blog.csdn.NET/xizero00/article/category/727908 (博文中有一篇着重点出如何添加layer，写的非常详细！)2.http://blog.csdn.Net/seven_first/article/category/572

损失函数，一般由两项组成，一项是loss term,另外一项是regularization term。J=L+R先说损失项loss，再说regularization项。1. 分对得分1，分错得分0.gold standard2. hinge loss(for softmargin svm),J=1/2||w||^2 + sum(max(0,1-yf(w,x)))3. log l

caffe 中的损失函数分析http://blog.csdn.net/u014114990/article/details/47802993http://blog.sina.com.cn/s/blog_eb3aea990102v3um.html2015-08-20 09:21 508人阅读 评论(0) 收藏 举报版权声明：本文为博主原

最近在学深度学习相关的东西，在网上搜集到了一些不错的资料，现在汇总一下：Free Online BooksDeep Learning66 by Yoshua Bengio, Ian Goodfellow and Aaron CourvilleNeural Networks and Deep Learning42 by Michael NielsenDeep Learning27 b

ImageNet Classification with Deep Convolutional Neural NetworksAlex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton摘要我们训练了一个大型的深度卷积神经网络，来将在ImageNet LSVRC-2010大赛中的120万张高清图像分为1000个不同的类别。对测试数据

原文：http://www.ithao123.cn/content-8359874.html摘要－今年的 CVPR 非常的火爆，总共有2800多人参与，相比去年增加了700多人，这与deep learning的异军突起是不无关系的。CVPR 2015 基本是 “the year of deep learning”，有大概70%的文章是关于deep learning的。今年的 C

A Discriminative Feature Learning Approach for Deep Face Recognition ECCV 2016code: https://github.com/ydwen/caffe-face本文针对人脸识别问题，针对 loss function提出了加入 center loss，使得学习到地 深度特征更加 discriminati

这次活动的主题是 hyperparameter optimization 和 bayesian optimization，简单说就是如何更有效率地调参，或者。。如何调得一手好参。这个方向近几年论文出来不少，研究潜力不小；而且实用性很强，不仅可用在深度学习中，也可用于其他机器学习方法的调参。选几篇论文讨论清楚，我想无论对学术还是工程都会有不小帮助。主要讨论以下几篇论文：1

前言这里讨论的优化问题指的是，给定目标函数f(x)，我们需要找到一组参数x，使得f(x)的值最小。本文以下内容假设读者已经了解机器学习基本知识，和梯度下降的原理。SGDSGD指stochastic gradient descent，即随机梯度下降。是梯度下降的batch版本。对于训练数据集，我们首先将其分成n个batch，每个batch包含m个样本。我们每次

19 Jan 2016 in OPTIMIZATION DEEP LEARNING SGD ~ 20 min read.An overview of gradient descent optimization algorithmsTable of contents:Gradient descent variantsBatch grad

momentum是用来修改检索方向加快收敛速度的一种简单方法，一般的通过加入之前的梯度来修改更新梯度步长：                                     表示当前计算出来的梯度，表示上一次的梯度值，表示本次需要更新的梯度值，α表示momentum系数，是用来加权之前梯度方向对现在梯度下降方向的影响。一般的momentum系数从0.5--0.99

有些程序要处理二进制位的有序集，每个位可能包含的是0（关）或1（开）的值。位是用来保存一组项或条件的yes/no信息（有时也称标志）的简洁方法。标准库提供了bitset类使得处理位集合更容易一些。要使用bitset类就必须要包含相关的头文件。在本书提供的例子中，假设都使用了std::bitset的using声明：[cpp] view plain copy

http://neuralnetworksanddeeplearning.com/关于作者http://michaelnielsen.org/Referencehttp://en.wikipedia.org/wiki/Frank_Rosenblatt感知器在 20 世纪五、六⼗年代由科学家 Fr

本博客仅为作者记录笔记之用，不免有很多细节不对之处。还望各位看官能够见谅，欢迎批评指正。更多相关博客请猛戳：http://blog.csdn.net/cyh_24如需转载，请附上本文链接：http://blog.csdn.net/cyh_24/article/details/50593400日常 coding 中，我们会很自然的使用一些激活函数，比如：sigmo

这个是Hinton关于RBM的pre-training的代码。源代码网址：http://www.cs.toronto.edu/~hinton/MatlabForSciencePaper.html%%%%%%%%%%%%%%rbm.mepsilonw      = 0.1;   % Learning rate for weights epsilonvb    

转载请注明作者：梦里风林Github工程地址：https://github.com/ahangchen/GDLnotes欢迎star，有问题可以到Issue区讨论官方教程地址视频/字幕下载全连接神经网络辅助阅读：TensorFlow中文社区教程 - 英文官方教程代码见：full_connect.pyLinear Model加载less

前言：昨天看到微博上分享的深度学习视频，为上海复旦大学吴立德教授深度学习课程，一共六课时，视频地址点击打开链接。在此我结合其他资料，写点个人的学习笔记进行记录。第一课：概述本课吴老师对深度学习做了一个简单的介绍。内容分为三块：1.深度学习简介  2.深度学习应用   3.领域概况1.深度学习简介     深度学习（deep learning）是机器学习（

欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。 技术交流QQ群：433250724，欢迎对算法、技术、应用感兴趣的同学加入。接下来重点讲一下RBM模型求解方法，其实用的依然是梯度优化方法，但是求解需要用到随机采样的方法，常见的有：Gibbs Sampling和对比散度(contrastive divergence, CD[8])算法。RB

欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。 技术交流QQ群：433250724，欢迎对算法、技术、应用感兴趣的同学加入上篇讲到，如果用Gibbs Sampling方法来训练rbm会非常慢，本篇中介绍一下对比散度contrastive divergence， CD算法。我们希望得到P(v)分布下的样本，而我们有训练样本，可以认为训练

1.什么是随机过程？在当代科学与社会的广阔天地里，人们都可以看到一种叫作随机过程的数学模型：从银河亮度的起伏到星系空间的物质分布、从分子的布朗运动到原子的蜕变过程，从化学反应动力学到电话通讯理论、从谣言的传播到传染病的流行、从市场预测到密码破译，随机过程理论及其应用几乎无所不在。人类历史上第一个从理论上提出并加以研究的过程模型是马尔科夫链，它是马尔科夫对概率论乃至人类思想发展作出的又一伟大

深度学习，是当前热门的机器学习领域。 最近开始想系统学习一下， 整理了一些网上学习资料， 也供有共同兴趣的朋友参考。如果有好的推荐，也欢迎给我留言。学习网站1. Deep Learning 101    http://markus.com/deep-learning-101/?utm_campaign=Manong_Weekly_Issue_11&utm_m

近日，闲来得空，又不停的听到Deep learning （DL）相关的突破~故来研究下Deep learning的相关东西~在Deep learning 的学习资源中找到，关于Deep belief network的相关资源http://www.cs.toronto.edu/~hinton/MatlabForSciencePaper.html这个资源的下载并运行，有

资源推荐 | TensorFlow电子书《FIRST CONTACT WITH TENSORFLOW》2016-06-29 系统科学社本书由 UPC Barcelona Tech大学教授Jordi Torres（个人主页 http://www.jorditorres.org/curriculumvitae/brief-curriculum-vitae/）所著

TensorFlow 官方文档中文版英文官方网站官方GitHub仓库中文版 GitHub 仓库TensorFlow-ExamplesModels built with TensorFlow谷歌制作的Tensorflow深度学习公开课 将教授如何训练和优化基本神经网络、卷积神经网络和长短期记忆网络。将通过项目和任务接触完整的机器学习系统TensorFlow。学习解决一系列曾经以为非常具有挑战性的

深度学习，是当前热门的机器学习领域。 最近开始想系统学习一下， 整理了一些网上学习资料， 也供有共同兴趣的朋友参考。如果有好的推荐，也欢迎给我留言。学习网站1. Deep Learning 101    http://markus.com/deep-learning-101/?utm_campaign=Manong_Weekly_Issue_11&utm_medium=EDM&

转自：http://baojie.org/blog/2013/01/27/deep-learning-tutorials/几个不错的深度学习教程，基本都有视频和演讲稿。附两篇综述文章和一副漫画。还有一些以后补充。Jeff Dean 2013 @ Stanfordhttp://i.stanford.edu/infoseminar/dean.pdf