机器学习
文章平均质量分 80
susandebug
keep moving
展开
-
Softmax回归
Softmax回归Contents [hide]1 简介2 代价函数3 Softmax回归模型参数化的特点4 权重衰减5 Softmax回归与Logistic 回归的关系6 Softmax 回归 vs. k 个二元分类器7 中英文对照8 中文译者简介在本节中,我们介绍Softmax回归模型,该模型是logi转载 2015-07-28 15:16:01 · 568 阅读 · 0 评论 -
AutoEncoder、RBM、DBM、DBN初探
转自牛人博客:http://blog.csdn.net/zouxy09/article/details/8775524AutoEncoder自动编码器 Deep Learning最简单的一种方法是利用人工神经网络的特点,人工神经网络(ANN)本身就是具有层次结构的系统,如果给定一个神经网络,我们假设其输出与输入是相同的,然后训练调整其参数,得到每一层中的权重。自然地,转载 2016-01-21 11:04:12 · 8156 阅读 · 0 评论 -
DBM、RBM资料汇总
1,经典文章Hinton, G. E., Osindero, S. and Teh, Y. W. A fast learning algorithm for deep belief nets. Neural Computation, vol 18, pp. 1527-1554, 2006.Hinton, G. E. To recognize shapes, first lear转载 2016-01-22 15:38:14 · 851 阅读 · 0 评论 -
深度学习( Deep Learning )资源库列表
PYTHON:★★★★★ 五星Theano – CPU/GPU 符号表示编译器in python (from LISA lab at University of Montreal) 相关资源:Deep Learning Tutorials – 使用Theano实现深度学习的示例 (from LISA lab at University of Montrea转载 2016-01-22 16:03:14 · 1121 阅读 · 0 评论 -
DeepLearningToolBox学习——NN(neural network)
经典的DeepLearningToolBox,将里面的模型和Andrew Ng的UFLDL tutorial 对应学习,收获不小。下载地址:DeepLearningToolBox神经网络模型,层与层之间全连接。1. test_example_NN%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 1原创 2016-01-25 17:19:10 · 12861 阅读 · 3 评论 -
DeepLearningToolBox学习——RBM(Restrict Boltzmann Machine)
下载地址:DeepLearningToolBox 学习RBM代码之前,需要一些基本的RBM的知识。 网上有很多参考资料,我借鉴一篇写的很好的系列文章,看下来也差不多能看懂了,博客地址:http://blog.csdn.net/itplus/article/details/19168937 目录如下(一)预备知识(二)网络结构原创 2016-01-25 19:23:51 · 1522 阅读 · 0 评论 -
DeepLearningToolBox学习——RBM(Restrict Boltzmann Machine)II
下载地址:DeepLearningToolBox 学习RBM代码之前,需要一些基本的RBM的知识。 网上有很多参考资料,我借鉴一篇写的很好的系列文章,看下来也差不多能看懂了,博客地址:http://blog.csdn.net/itplus/article/details/19168937 目录如下(一)预备知识(二)网络结构原创 2016-01-25 19:36:23 · 1210 阅读 · 0 评论 -
DeepLearningToolBox学习——DBN(Deep Belief Net )
下载地址:DeepLearningToolBox1. DBN基础知识DBN 是由多层 RBM 组成的一个神经网络,它既可以被看作一个生成模型,也可以当作判别模型,其训练过程是:使用非监督贪婪逐层方法去预训练获得权值。 训练过程: 1. 首先充分训练第一个 RBM; 2. 固定第一个 RBM 的权重和偏移量,然后使用其隐性神经元的状态,作为第二个原创 2016-01-25 20:21:19 · 7644 阅读 · 1 评论 -
DeepLearningToolBox学习——SAE(stacked auto encoders )
下载地址:DeepLearningToolBoxSAE(stacked auto encoders )的结构如下:基本意思就是一个隐藏层的神经网络,输入输出都是x,属于无监督学习。test_example_SAE%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup原创 2016-01-25 20:47:26 · 3418 阅读 · 7 评论 -
Caffe: solver及其配置
orignal article: 点击打开链接solver算是caffe的核心的核心,它协调着整个模型的运作。caffe程序运行必带的一个参数就是solver配置文件。运行代码一般为# caffe train --solver=*_slover.prototxt在Deep Learning中,往往loss function是非凸的,没有解析解,我们需要通过优化方转载 2016-02-24 10:20:36 · 767 阅读 · 0 评论 -
Precision和Recall
原文出自:http://blog.csdn.net/wangran51/article/details/7579100最近一直在做相关推荐方面的研究与应用工作,召回率与准确率这两个概念偶尔会遇到,知道意思,但是有时候要很清晰地向同学介绍则有点转不过弯来。召回率和准确率是数据挖掘中预测、互联网中的搜索引擎等经常涉及的两个概念和指标。召回率:Recall,又称“查全率”转载 2017-07-12 13:14:48 · 502 阅读 · 0 评论 -
深度学习方面的论文整理
写在前面:最近看文章毫无头绪,文章一把抓乱看,看到下面这个博客来忍不住转载过来,以便自己不用到处找论文。以下是转载部分================================================================================转载来源:http://hi.baidu.com/chb_seaok/item转载 2015-12-16 15:08:20 · 7488 阅读 · 0 评论 -
caffe运行时的bug
1. 安装.deb文件,用sudo gdebi XXX.debsudo apt-get install xxx2.需要配置系统路径:LD_LIBRARY_PATH=.../lib:LD_LIBRARY_PATHexportLD_LIBRARY_PATH3.ln -sf xxx xxx软链接4. Training LeNet onMNIST w转载 2015-11-26 15:11:49 · 4868 阅读 · 2 评论 -
Caffe中learning rate 和 weight decay 的理解
Caffe中learning rate 和 weight decay 的理解在caffe.proto中 对caffe网络中出现的各项参数做了详细的解释。1.关于learning rate optional float base_lr = 5; // The base learning rate // The learning rate decay policy. The cur原创 2015-11-26 14:59:47 · 31816 阅读 · 1 评论 -
计算机视觉、机器学习、人工智能领域知识汇总
http://blog.csdn.net/zouxy09 2012年8月21号开始了我的第一篇博文,也开始了我的研究生生涯。怀着对机器学习和计算机视觉等等领域的懵懂,从一个电子材料的领域跨入这个高速发展的人工智能领域。从开始的因无知而惊慌,因陌生而乏力,到一步步的成长。这过程的知识积累也都大部分反映在这个博客上面了。感谢这个平台促使自己去总结去坚持去进步。也感谢这个平转载 2015-07-30 11:24:27 · 5532 阅读 · 2 评论 -
国外牛人总结的机器学习领域的框架、库以及软件
本文汇编了一些机器学习领域的框架、库以及软件(按编程语言排序)。C++计算机视觉CCV —基于C语言/提供缓存/核心的机器视觉库,新颖的机器视觉库OpenCV—它提供C++, C, Python, Java 以及 MATLAB接口,并支持Windows, Linux, Android and Mac OS操作系统。通用机器学习MLPackDLib转载 2015-10-13 09:49:35 · 5269 阅读 · 2 评论 -
机器学习的11个开源项目
机器学习是目前数据分析领域的一个热点内容,在平时的学习和生活中经常会用到各种各样的机器学习算法。实际上,基于Python、Java等的很多机器学习算法基本都被前人实现过很多次了。这些算法在网上可以找到很多,然而往往存在很多“脏”或者“乱”的开源代码。在这样的背景下, InfoWorld近日公布了机器学习领域11个最受欢迎的开源项目,这11个开源项目大多与垃圾邮件过滤、人脸识别、推荐引擎相关转载 2015-10-13 09:54:15 · 1030 阅读 · 0 评论 -
【基础】常用的机器学习&数据挖掘知识点
Basis(基础):MSE(Mean Square Error 均方误差),LMS(LeastMean Square 最小均方),LSM(Least Square Methods 最小二乘法),MLE(MaximumLikelihood Estimation最大似然估计),QP(Quadratic Programming 二次规划), CP(Conditional Probability条转载 2015-10-13 09:52:08 · 701 阅读 · 0 评论 -
深度学习国外经典教程——大师带你入门(视频、PPT讲稿)
转自:http://baojie.org/blog/2013/01/27/deep-learning-tutorials/几个不错的深度学习教程,基本都有视频和演讲稿。附两篇综述文章和一副漫画。还有一些以后补充。Jeff Dean 2013 @ Stanfordhttp://i.stanford.edu/infoseminar/dean.pdf一转载 2015-11-16 15:59:05 · 7023 阅读 · 0 评论 -
深度学习-LeCun、Bengio和Hinton的联合综述(下)
深度学习-LeCun、Bengio和Hinton的联合综述(下)摘要:Yann LeCun、Yoshua Bengio和Geoffrey Hinton发表于《Nature》的综述文章“Deep Learning”中文译文的下半部分,详细介绍了CNN、分布式特征表示、RNN及其不同的应用,并对深度学习技术的未来发展进行了展望。【编者按】三大牛Yann LeCun、Yosh转载 2015-11-16 10:55:15 · 1085 阅读 · 0 评论 -
深度学习-LeCun、Bengio和Hinton的联合综述(上)
深度学习-LeCun、Bengio和Hinton的联合综述(上)摘要:最新的《Nature》杂志专门为“人工智能 + 机器人”开辟了一个专题 ,发表多篇相关论文,其中包括了LeCun、Bengio和Hinton首次合作的这篇综述文章“Deep Learning”。本文为该综述文章中文译文的上半部分。【编者按】三大牛Yann LeCun、Yoshua Bengio和G转载 2015-11-16 10:53:35 · 1021 阅读 · 0 评论 -
ImageNet Classification with Deep Convolutional Neural Network解读
ImageNet Classification with Deep Convolutional Neural Network本文是Alex和Hinton参加ILSVRC2012比赛的卷积网络论文,本网络结构也是开启Imagenet数据集更大,更深CNN的开山之作,本文对CNN的一些改进成为以后CNN网络通用的结构;在一些报告中被称为Alex-net,之后在Imagenet上取得转载 2015-11-16 20:16:25 · 1581 阅读 · 0 评论 -
随机梯度下降(Stochastic gradient descent)和 批量梯度下降(Batch gradient descent )
梯度下降(GD)是最小化风险函数、损失函数的一种常用方法,随机梯度下降和批量梯度下降是两种迭代求解思路,下面从公式和实现的角度对两者进行分析,如有哪个方面写的不对,希望网友纠正。下面的h(x)是要拟合的函数,J(theta)损失函数,theta是参数,要迭代求解的值,theta求解出来了那最终要拟合的函数h(theta)就出来了。其中m是训练集的记录条数,j是参数的个数。转载 2015-11-23 15:16:54 · 1102 阅读 · 0 评论 -
LeNet -5 卷积神经网络的网络结构
卷积神经网络是一种特殊的多层神经网络,像其它的神经网络一样,卷积神经网络也使用一种反向传播算法来进行训练,不同之处在于网络的结构。卷积神经网络的网络连接具有局部连接、参数共享的特点。局部连接是相对于普通神经网络的全连接而言的,是指这一层的某个节点只与上一层的部分节点相连。参数共享是指一层中多个节点的连接共享相同的一组参数。 一个典型的神经网络的结构是全连接的,即某一层的某个节点与上转载 2015-11-23 14:50:32 · 3346 阅读 · 0 评论 -
分类模型的 Loss 为什么使用 cross entropy 而不是 classification error 或 squared error
提纲:分类模型 与 Loss 函数的定义,为什么不能用 Classification Error,Cross Entropy 的效果对比,为什么不用 Mean Squared Error,定量理解 Cross Entropy,总结,参考资料。交叉熵定义:http://blog.csdn.net/lanchunhui/article/detai转载 2017-07-19 18:47:36 · 2953 阅读 · 0 评论