2015年03月_断腿小胖子

11月 10月 09月 07月 06月 05月 04月 03月

转载 Deep Learning（深度学习）学习笔记整理系列之（一）

Deep Learning（深度学习）学习笔记整理系列之（一）一、概述 Artificial Intelligence，也就是人工智能，就像长生不老和星际漫游一样，是人类最美好的梦想之一。虽然计算机技术已经取得了长足的进步，但是到目前为止，还没有一台电脑能产生“自我”的意识。是的，在人类和大量现成数据的帮助下，电脑可以表现的十分强大，但是离开了这两者，它甚至都不能分

2015-03-26 16:12:32 862

转载矩阵论基础知识5（病态矩阵与条件数）

病态矩阵与条件数 1. 病态系统现在有线性系统： Ax = b，解方程很容易得到解为： x1 = -100, x2 = -200. 如果在样本采集时存在一个微小的误差，比如，将 A 矩阵的系数 400 改变成 401：则得到一个截然不同的解： x1 = 40000, x2 = 79800.当解集 x 对 A 和 b 的系数高度敏感，那么这样的方程组就是病态的

2015-03-25 19:17:57 31762 15

转载稀疏表示介绍(下)

稀疏表示介绍(下)声明主要学习资料是 Coursera 上 Duke 大学的公开课——Image and video processing, by Pro.Guillermo Sapiro 第 9 课。 1. From Local to Global Treatment图片尺寸有大有小，在 DCT 变换中，我们一般取 8×8 的方块作为一组 64 维的变

2015-03-24 21:02:51 943

转载稀疏表示介绍(中)

稀疏表示介绍(中) 声明主要学习资料是 Coursera 上 Duke 大学的公开课——Image and video processing, by Pro.Guillermo Sapiro 第 9 课。1. Uniqueness假设我们已知字典矩阵 D 和稀疏向量 a，计算出一个信号 x，即 Da = x, x 存在一个关于 D 的稀疏表示。反过来现

2015-03-24 19:57:57 1941

转载稀疏表示介绍(上)

稀疏表示介绍(上) 声明主要学习资料是 Coursera 上 Duke 大学的公开课——Image and video processing, by Pro.Guillermo Sapiro 第 9 课。 1. Denoising （去噪）与 MAP故事从 denoising 说起，话说手头上有一张含有噪音的图片Lena（http://blog.

2015-03-24 19:32:37 1197

转载几种常用的优化方法梯度下降法、牛顿法、）

几种常用的优化方法1. 前言熟悉机器学习的童鞋都知道，优化方法是其中一个非常重要的话题，最常见的情形就是利用目标函数的导数通过多次迭代来求解无约束最优化问题。实现简单，coding 方便，是训练模型的必备利器之一。 2. 几个数学概念1) 梯度（一阶导数）考虑一座在 (x1, x2) 点高度是 f(x1, x2) 的山。那么，某一点的梯度方向是在该点坡度

2015-03-23 10:32:22 19358 1

转载矩阵论基础知识2（正交、 Givens 变换、Householder变换）

机器学习中的矩阵方法02：正交说明：Matrix Methods in Data Mining and Pattern Recognition 读书笔记 1. 正交的一些概念和性质在前一章的最小二乘的问题中，我们知道不恰当的基向量会出现条件数过大，系统防干扰能力差的现象，这实际上和基向量的正交性有关。两个向量的内积如果是零，那么就说这两个向量是正交的，在三维空间

2015-03-23 09:03:45 27182

转载矩阵论基础知识1（LU分解条件数最小二乘问题）

1. LU Decomposition假设现在要解一个线性系统：Ax = b，其中 A 是 n×n 非奇异方阵，对于任意的向量 b 来说，都存在一个唯一的解。回顾我们手工求解这个线性方程组的做法，首先将矩阵 A 行之间进行加减，将 A 矩阵转化为一个上三角矩阵，然后从下往上将未知数一个一个求解出来, 这就是高斯消元法。实际上，矩阵等价于左乘一个单位矩阵，（因

2015-03-22 20:35:20 4806

转载稀疏表达：向量、矩阵与张量（上）

稀疏表达：向量、矩阵与张量（上）稀疏表达是近年来SP, ML, PR, CV领域中的一大热点，文章可谓是普天盖地，令人目不暇给。老板某门课程的课程需要大纲，我顺道给扩展了下，就有了这个上中下三篇介绍性质的东西。遗憾的是，我在绝大多数情况下实在不算是一个勤快的人，这玩意可能充满bug，更新也可能断断续续，尽请诸位看官见谅了。顺道一提，ICCV09有一个相关的 tutorial。

2015-03-09 21:00:02 549

转载稀疏表达：向量、矩阵与张量（中）

在开始正文之前，咱首先得说明一下，这篇东西偏向于理论，各位看官可以自行跳过某些部分。这方面的工作奠基人同样也是compressive sensing的大牛之一E.J Candes（Donoho的得意门生），以及Candes的学生Ben Recht，前者刚从caltech被挖到stanford，后者目前刚到wisconsin做AP。Candes大牛，stanford统计系出生，师从Donoho。

2015-03-09 20:56:30 688

原创低秩矩阵表示（LRR）

LRR本文主要结合《Robust Subspace Segmentation by Low-Rank Representation》（ICML 2010）来说明提出背景：相比于SR（稀疏表示），LRR可以更好的表示数据的整体结构。应用：结合子空间分割与噪声识别于一个框架中用于处理多子空间问题。

2015-03-09 17:15:24 9619

原创 Robust PCA

Robust PCA 1. RPCA 简介1. 1 为什么使用RPCA?求解被高幅度尖锐噪声而不是高斯分布噪声污染的信号分离问题。1.2 主要问题给定C = A*+B*, 其中A*是稀疏的尖锐噪声矩阵，B* 是低秩矩阵, 目的是从C中恢复B*.B*= UΣV’, 其中U∈Rn*k ,Σ∈Rk*k ,V∈Rn*k3. 与PCA

2015-03-09 09:08:06 1427

原创零基础Python小游戏

Python进阶（一）——安装Python、程序执行、Python模块和IDLE调试近几年来，随着Google、YouTube、IRobot等大公司对Python语言的广泛使用，Python公司的身影经常出现与我们的视线，Python语言也在软件质量、开发效率、程序的可移植性、标准库的支持等方面成为了一个优秀的程序开发语言，可以完成网站、游戏开发到航空航天控制等领域的各种任务。

2015-03-08 10:33:28 692

原创 MATLAB常用函数

MATLAB常用函数（更新中。。。）1.Strcat：strcat 即 Strings Catenate，横向连接字符串。例如：combinedStr= strcat(s1, s2, ..., sN)将数组 s1,s2,...,sN 水平地连接成单个字符串，并保存于变量combinedStr中。具体实例：filename1='F:\Testresult\SMFA_dieda

2015-03-08 10:26:15 544

转载 SVM

支持向量机(SVM)基础一、线性分类器：首先给出一个非常非常简单的分类问题（线性可分），我们要用一条直线，将下图中黑色的点和白色的点分开，很显然，图上的这条直线就是我们要求的直线之一（可以有无数条这样的直线）假如说，我们令黑色的点 = -1，白色的点 = +1，直线f(x) = w.x + b，这儿的x、w是向量，其实写成这种形式也是等价的f(x) =

2015-03-08 10:14:49 485

转载 LDA & PCA

本次的内容主要是以推导数学公式为主，都是从算法的物理意义出发，然后一步一步最终推导到最终的式子，LDA和PCA最终的表现都是解一个矩阵特征值的问题，但是理解了如何推导，才能更深刻的理解其中的含义。本次内容要求读者有一些基本的线性代数基础，比如说特征值、特征向量的概念，空间投影，点乘等的一些基本知识等。除此之外的其他公式、我都尽量讲得更简单清楚。LDA： LDA的全称是Line

2015-03-08 09:59:24 479

转载机器学习概要

机器学习概要　　在进入正题前，我想读者心中可能会有一个疑惑：机器学习有什么重要性，以至于要阅读完这篇非常长的文章呢？　　我并不直接回答这个问题前。相反，我想请大家看两张图，下图是图一：图1 机器学习界的执牛耳者与互联网界的大鳄的联姻　　　　这幅图上上的三人是当今机器学习界的执牛耳者。中间的是Geoffrey Hinton, 加拿大多伦多大学的教授，

2015-03-07 20:02:34 726

转载矩阵论基础知识4——强大的矩阵奇异值分解(SVD)及其应用

2015-03-07 16:40:33 2351

转载矩阵的奇异值分解

矩阵的奇异值分解矩阵的奇异值分解证明过程中会用到五个定理，先作为补充知识展示这五个定理：定理一：A是对称矩阵，则不同特征值对应的特征向量是正交的。————————————————————————————————————————————————————————————————————————————定理二：矩阵和它的转置具有相同的特征值证明：因为：

2015-03-07 10:39:11 793

转载机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)

回归与梯度下降：回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种，如locally weighted回归，logistic回归，等等，这个将在后面去讲。用一个很简单的例子来说明回归，这个例子来自很多的地方，也在很多的open source的软件中看到，比如说w

2015-03-06 16:24:49 473

之前学习机器学习和数据挖掘的时候，很多都是知道这些算法的设计机制，对数学推导和求解过程依然是一知半解，最近看了一些机器学习算法的求解和各种优化算法，也发现了这些算法设计和公式推导背后的数学精妙之处和随处可见的最优化的影子。还是决定从最优化理论开始补起，我参考了最优化的基础，先总结了凸函数、hessian矩阵、泰勒展开、拉格朗日乘子、对偶函数，随后介绍了最优化中常用的梯度下降法、牛顿法、共轭梯度法、

2015-03-06 16:20:41 1301

转载计算机视觉、机器学习相关领域论文和源代码大集合

计算机视觉、机器学习相关领域论文和源代码大集合注：下面有project网站的大部分都有paper和相应的code。Code一般是C/C++或者Matlab代码。一、特征提取Feature Extraction：· SIFT [1] [Demo program][SIFT Library] [VLFeat]·

2015-03-06 15:58:58 488

转载机器学习中的范数规则化之（二）核范数与规则项参数选择以及RPCA

机器学习中的范数规则化之（二）核范数与规则项参数选择三、核范数核范数||W||*是指矩阵奇异值的和，英文称呼叫Nuclear Norm。这个相对于上面火热的L1和L2来说，可能大家就会陌生点。那它是干嘛用的呢？霸气登场：约束Low-Rank（低秩）。OK，OK，那我们得知道Low-Rank是啥？用来干啥的？我们先来回忆下线性代数里面“秩”到底是啥

2015-03-06 11:36:09 2037

转载机器学习中的范数规则化之（一）L0、L1与L2范数

机器学习中的范数规则化之（一）L0、L1与L2范数今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法，如果理解存在错误，希望大家不吝指正。谢谢。监督机器学习问题无非就是“

2015-03-06 11:19:48 552

转载机器学习&数据挖掘笔记_15（关于凸优化的一些简单概念）

没有系统学过数学优化，但是机器学习中又常用到这些工具和技巧，机器学习中最常见的优化当属凸优化了，这些可以参考Ng的教学资料：http://cs229.stanford.edu/section/cs229-cvxopt.pdf，从中我们可以大致了解到一些凸优化的概念，比如凸集，凸函数，凸优化问题，线性规划，二次规划，二次约束二次规划，半正定规划等，从而对凸优化问题有个初步的认识。以下是几个重要相关概

2015-03-05 10:47:03 1127

xhtml参考手册

html xhtml参考手册，详细简单，初学者的必备

2014-09-12

Ubuntu使用手册.pdf

最新Ubuntu使用手册，详细简单，适合入门级别

2014-09-12

计算机视觉（图像序列分析）

中科大自动化研究所计算机视觉（图像序列分析），生动详细，适合初学者。

2014-03-22

SIFT原代码

sift特征变换代码可直接调用，分别用matlab c c++编写，可以直接调用