Machine LearningAndrew NgCOURSE DESCRIPTIONIn this course, you'll learn about some of the most widely used and successful machine learning techniques. You'll have the opportunity

1、局部最优问题。深度学习算法的目标函数，几乎全都是非凸的。而目前寻找最优解的方法，都是基于梯度下降的。稍微有点背景知识的人都知道，梯度下降方法是解决不了非凸问题的。因此，如果找到最优解，将是深度学习领域，非常值得研究的课题。andrew在google的工作，也就是那只猫，其实训练过程是让人很费解的。为了缩短训练时间，项目组采用了分布式训练的方式。采用了1000台计算机，在不同的计算机上存

思考了很久，提出了一种自己的深度结构。具体阐述如下：1、不采用andrew的那种，局部模版的方式。那种方式，需要的模板数过多，算不过来。我这里想采用的方式，是全图模版。就像手写体数字识别一样，模版跟图像的尺寸是完全一样的。这么做的原因，是为了节省空间以及计算量。2、采用多尺度的思维。第一条里，讲到只是用全图模版，可能一个疑问马上就来了：对于尺寸较大的物体怎么办？我的解决办法是，对图像进行缩

下面这幅图像是使用K均值聚类得到的结果，看看，是不是跟深度学习的结果有点相似？有点那么个味道？用来训练的小图片是从一些生活照中随机剪切出来的。下面是对应的matlab代码。clear all; close all; clc;% load mnist_uint8.mat;% X = double(train_x(1 : 1 : end, :)) / 255;load

CBLAS的安装与使用 烤鱼片(@eii.dlmu)cleverysm@163.com  CBLAS是BLAS的C语言接口。BLAS的全称是Basic Linear Algebra Subprograms，中文大概可以叫做基础线性代数子程序。主要是用于向量和矩阵计算的高性能数学库。本身BLAS是用Fortran写的，为了方便C/C++程序的使用，

前言：    上一次写了关于PCA与LDA的 文章，PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。在上篇文章中便是基于特征值分解的一种解释。特征值和奇异值在 大部分人的印象中，往往是停留在纯粹的数学计算中。而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景。奇异值分解是一个有着很明 显的物理意义的一种方法，它可以将一个比较复杂的矩阵

学习OpenCV——PCA主成分分析 （转）在图形识别方面,主成分分析(Principal Comonents Analysis,PCA)算是比较快速而且又准确的方式之一,它可以对抗图形平移旋转的事件发生,并且藉由主要特征(主成分)投影过后的数据做数据的比对,在多个特征信息里面,取最主要的K个,做为它的特征依据,在这边拿前面共变量矩阵的数据来做沿用,主成分分析使用的方法为计算共变量

科学家调查用无人机为作物喷粉加州大学戴维斯分校的研究人员与雅马哈公司合作，正在测试用无人机为农作物喷粉，目的是将日本的无人机喷粉技术引进美国。但技术问题并不是无人机喷粉面临的唯一障碍。利用飞机喷撒农药和播种已有上百年历史，但它并不万能。　　低空为农田喷撒农药最适合的地理位置是北美大平原，因为这里地势平坦，而且没有树木和电力线等障碍。而在楼宇密集和地势崎岖的地方，飞机或直升机喷粉

无监督学习近年来很热，先后应用于computer vision, audio classification和 NLP等问题，通过机器进行无监督学习feature得到的结果，其accuracy大多明显优于其他方法进行training。本文将主要针对Andrew的unsupervised learning，结合他的视频：unsupervised feature learning by Andr

Deep Learning是机器学习中一个非常接近AI的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，最近研究了机器学习中一些深度学习的相关知识，本文给出一些很有用的资料和心得。Key Words：有监督学习与无监督学习，分类、回归，密度估计、聚类，深度学习，Sparse DBN，1. 有监督学习和无监督学习给定一组数据(inpu

Comments from Xinwei: 最近的一个课题发展到与深度学习有联系，因此在高老师的建议下，我仔细看了下深度学习的基本概念，这篇综述翻译自http://deeplearning.net，与大家分享，有翻译不妥之处，烦请各位指正。  查看最新论文Yoshua Bengio, Learning Deep Architectures for AI, Found

Quoc. Le 2012论文中的所讨论的深度结构，有下面几个关键点：1、共三个大层，每一个大层包括三个小层，分别是卷积层、位置不变层、局部归一化层。2、原图大小是200*200，以前的研究人员大多使用32*32.3、卷积层，没有共享参数，每一个像素位置，对应若干个模版，不同像素位置的模版，完全不同，所以参数空间相当庞大。4、包含了彩色信息，RGB三个通道的地位是一样的，进一步增加

1 基于梯度下降的学习 对于一个简单的机器学习算法，每一个样例包含了一个(x,y)对，其中一个输入x和一个数值输出y。我们考虑损失函数,它描述了预测值和实际值y之间的损失。预测值是我们选择从一函数族F中选择一个以w为参数的函数的到的预测结果。 我们的目标是寻找这样的函数,能够在训练集中最小化平均损失函数  由于我们不知道数据的真实分布，所以我们通常使用  来代替

文章里定义了sparse coding(一下简称SC)的目的是：训练一组很少的基向量，对它们带权重地线性组合。然后这些基向量可以捕捉输入数据的high-level patterns（features）。  SC的特别之处：利用没有标记的输入数据，可以发现基函数。本文提出了一种有效找到sparse codes算法：迭代的解决两个凸优化问题：一个L1 regularized lea

以后把一些算法性的文章阅读笔记就贴在space里面吧，有两个好处，一个是便于自己以后查看，另一个是便于别的同学查看.其实就一个好处，被我说成两个了，哈哈！~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~http://www.stanford.edu/~hllee/nips06-sparsecoding.

稀疏表达是近年来SP, ML, PR, CV领域中的一大热点，文章可谓是普天盖地，令人目不暇给。老板某门课程的课程需要大纲，我顺道给扩展了下，就有了这个上中下三篇介绍性质的东西。遗憾的是，我在绝大多数情况下实在不算是一个勤快的人，这玩意可能充满bug，更新也可能断断续续，尽请诸位看官见谅了。顺道一提，ICCV09有一个相关的 tutorial 。据传博文里公式数量和其人气是成反比例关系的，

List of reading lists and survey papers:Review Papers Representation Learning: A Review and New Perspectives, Yoshua Bengio, Aaron Courville, Pascal Vincent, Arxiv, 2012.The monograph or rev

l 学习映射函数及在行为识别/图像分类中应用的文献（模型与非模型之间存在关联，算法相互采用，没有明确的区分，含仿生学文献）% 研究重点放到ICA模型及深度学习兼顾稀疏编码1）稀疏编码（稀疏编码、自动编码、递归编码）：[1] B. Olshausen and D. Field. Emergence of simple-cell receptive field pro