Daniel_djf的专栏

Computer Vision & Machine Learning

python 中 dist-packages 和 site-packages 的区别

site-packages 和 dist-packages 的区别 dist-packages is a Debian-specific convention that is also present in its derivatives, like Ubuntu. Modules ar...

2016-04-19 10:13:36

阅读数 1326

评论数 0

Stochastic Gradient Descent (SGD)

Optimization: Stochastic Gradient Descent Overview Batch methods, such as limited memory BFGS, which use the full training set to compute the next ...

2015-11-29 18:13:06

阅读数 1636

评论数 0

Numpy 入门

转至:my.oschina.net/lionets/blog/276574 Numpy 的核心内容是它的多维数组对象——ndarray(N-Dimensions Array),整个包几乎都是围绕这个对象展开。Numpy 本身并没有提供多么高级的数据结构和分析功能,但它是很多高级工具(如 pa...

2015-07-15 15:39:24

阅读数 1768

评论数 0

机器学习算法中如何选取超参数:学习速率、正则项系数、minibatch size

转自:http://blog.csdn.net/u012162613/article/details/44265967 本文是《Neural networks and deep learning》概览 中第三章的一部分,讲机器学习算法中,如何选取初始的超参数的值。(本文会不断补充) ...

2015-07-14 09:58:09

阅读数 1305

评论数 0

深度学习阅读清单

推荐给深度学习初学者的深度学习材料:包含了深度学习的很全的资源:在线免费资源;课程;视频和讲座;论 文;教程;网站;数据集;框架和其它杂项。 Free Online Books Deep Learning4 by Yoshua Bengio, Ian Goodfellow and Aaron...

2015-01-26 13:33:18

阅读数 2015

评论数 0

深度学习工具包(Deep Learning Toolboxs)

一些好用的 Deep learning toolboxs DeepLearningToolbox MATLAB实现,可以使用CPU或GPU,GPU运算用gpumat实现,修改内核代码非常方便  支持基本的 deep structures  https://github.com/rasmus...

2015-01-24 18:30:02

阅读数 5336

评论数 0

非极大抑制(Non-Maximum Suppression)

最近在看RCNN和微软的SPP-net,其中涉及到Non-Maximum Suppression,论文中没具体展开,我就研究下了代码,这里做一个简单的总结。 假设从一个图像中得到了2000region proposals,通过在RCNN和SPP-net之后我们会得到2000*4096的一个特征...

2015-01-24 13:56:26

阅读数 19850

评论数 1

Caffe中的优化方法

在Deep Learning中,往往loss function是非凸的,没有解析解,我们需要通过优化方法来求解。Caffe通过协调的进行整个网络的前向传播推倒以及后向梯度对参数进行更新,试图减小损失。  Caffe已经封装好了三种优化方法,分别是Stochastic Gradient Descen...

2015-01-20 21:57:19

阅读数 22757

评论数 1

如何在Caffe中配置每一个层的结构

最近刚在电脑上装好Caffe,由于神经网络中有不同的层结构,不同类型的层又有不同的参数,所有就根据Caffe官网的说明文档做了一个简单的总结。 1. Vision Layers 1.1 卷积层(Convolution) 类型:CONVOLUTION 例子 layers { name: &...

2015-01-20 21:24:39

阅读数 37497

评论数 0

在Ubuntu 14.04 上安装Caffe碰到的问题

具体的安装过程可以参考 官网的Installation,以及网友分享的一些安装教程,教程一,教程二,教程三。 我在这里主要记录下我在安装的过程中碰到的一些问题,以及解决方法(部分网上没有提到),而不是整个安装的流程。由于自己是linux小白,安装caffe花了好几天时间,期间好几次想放弃,还好我...

2015-01-18 16:00:14

阅读数 7296

评论数 0

池化方法总结(Pooling)

在卷积神经网络中,我们经常会碰到池化操作,而池化层往往在卷积层后面,通过池化来降低卷积层输出的特征向量,同时改善结果(不易出现过拟合)。 为什么可以通过降低维度呢? 因为图像具有一种“静态性”的属性,这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适用。因此,为了描述大的图像,一个很自...

2015-01-05 21:27:40

阅读数 40100

评论数 2

UFLDL——Exercise: Convolution and Pooling 卷积和池化

实验要求可以参考deep learning的tutorial,Exercise:Convolution and Poling 卷积和池化。 本实验通过卷积神经网络对RGB彩色图像进行分类,先通过CNN网络从图像从学习得到3200维度的特征,然后训练四分类的softmax分类器进行分类。 ...

2015-01-01 22:37:25

阅读数 2785

评论数 3

UFLDL——Exercise: Linear Decoders 线性解码器

本实验是用线性解码器的sparse autoencoder来训练stl-10数据库图片中8*8大小RGB patch块的特征。之前的试验中,我们的训练图像都是灰度图像,对于RGB图像可以采用相同的方法,只需把RGB图像的三个通道向量按照rgb的顺序排列更长的向量即可。 1、   线性解码器简...

2015-01-01 15:24:26

阅读数 1451

评论数 0

如何写好一篇高质量的paper

http://blog.csdn.net/tiandijun/article/details/41775223 这篇文章来源于中科院Zhouchen Lin 教授的report,有幸读到,和大家分享一下。技术和paper是相辅相成的,一直认为学到了技术或者在学习的过程中有任何的想法和疑问都应该...

2015-01-01 11:11:08

阅读数 1227

评论数 0

UFLDL——Exercise: PCA in 2D 主成分分析

实验要求可以参考deeplearning的tutorial, Exercise: PCA in 2D。   1. 实验描述: 实验在二维数据上进行PCA降维,PCA白化处理,以及ZCA白化处理,原理可以参考之间的博客,下面直接贴代码。   在实验中,我计算了每一次原始数据,P...

2014-12-25 16:24:12

阅读数 1412

评论数 0

白化(Whitening) PCA白化 ZCA白化

白化是一种重要的预处理过程,其目的就是降低输入数据的冗余性,使得经过白化处理的输入数据具有如下性质:(i)特征之间相关性较低;(ii)所有特征具有相同的方差。   白化处理分PCA白化和ZCA白化,PCA白化保证数据各维度的方差为1,而ZCA白化保证数据各维度的方差相同。PCA白化可以用于降维也可...

2014-12-25 15:46:34

阅读数 10687

评论数 0

PCA主成分分析(Principal Component Analysis)

PCA是基本的线性降维方法,同时也是一种监督学习降维方法。PCA是希望降维之后,尽量保留原始数据的方差结构,所以我们需要投影方向a使得投影之后数据的方差最大化。 1. 求解 PCA是通过求解协方差矩阵的特征向量作为投影方向,如果我们要把原始数据降维到k维,把协方差矩阵前k大的特征值所对...

2014-12-25 10:32:58

阅读数 3169

评论数 3

期望 方差 协方差 协方差矩阵 (Expectation Variance Covariance)

在学习机器学习的算法时经常会碰到随机变量的数字特征,所以在这里做一个简单的总结。 1、         期望(Expectation) 离散: 其中,f(x)为随机变量x的概率函数,事实上期望就是随机变量的平均数。    连续: 连续情况和离散的类似,只是把求和换成了积...

2014-12-24 21:50:10

阅读数 5848

评论数 1

马尔科夫链和马尔科夫随机场

1.什么是随机过程? 在当代科学与社会的广阔天地里,人们都可以看到一种叫作随机过程的数学模型:从银河亮度的起伏到星系空间的物质分布、从分子的布朗运动到原子的蜕变过程,从化学反应动力学到电话通讯理论、从谣言的传播到传染病的流行、从市场预测到密码破译,随机过程理论及其应用几乎无所不在。人类历史上...

2014-12-18 22:24:44

阅读数 1485

评论数 0

深度学习的一些教程

几个不错的深度学习教程,基本都有视频和演讲稿。附两篇综述文章和一副漫画。还有一些以后补充。 Jeff Dean 2013 @ Stanford http://i.stanford.edu/infoseminar/dean.pdf 一个对DL能干什么的入门级介绍,主要涉及G...

2014-12-16 21:51:59

阅读数 1233

评论数 0

提示
确定要删除当前文章?
取消 删除