slamer的专栏

转载 支持向量机（五）SMO算法

11 SMO优化算法（Sequential minimal optimization）SMO算法由Microsoft Research的John C. Platt在1998年提出，并成为最快的二次规划优化算法，特别针对线性SVM和数据稀疏时性能更优。关于SMO最好的资料就是他本人写的《Sequential Minimal Optimization A Fast Algorithm for

转载 支持向量机（四）

9 规则化和不可分情况处理（Regularization and the non-separable case）我们之前讨论的情况都是建立在样例线性可分的假设上，当样例线性不可分时，我们可以尝试使用核函数来将特征映射到高维，这样很可能就可分了。然而，映射后我们也不能100%保证可分。那怎么办呢，我们需要将模型进行调整，以保证在不可分的情况下，也能够尽可能地找出分隔超平面。看下面两张

转载 支持向量机（三）核函数

7 核函数（Kernels）考虑我们最初在“线性回归”中提出的问题，特征是房子的面积x，这里的x是实数，结果y是房子的价格。假设我们从样本点的分布中看到x和y符合3次曲线，那么我们希望使用x的三次多项式来逼近这些样本点。那么首先需要将特征x扩展到三维，然后寻找特征和结果之间的模型。我们将这种特征变换称作特征映射（feature mapping）。映射函数称作，在这个例子中

转载 支持向量机SVM（二）

6 拉格朗日对偶（Lagrange duality）     先抛开上面的二次规划问题，先来看看存在等式约束的极值问题求法，比如下面的最优化问题：            目标函数是f(w)，下面是等式约束。通常解法是引入拉格朗日算子，这里使用来表示算子，得到拉格朗日公式为            L是等式约束的个数。    然后分别对w和求偏导，使得偏

转载 支持向量机SVM（一）

1 简介支持向量机基本上是最好的有监督学习算法了。最开始接触SVM是去年暑假的时候，老师要求交《统计学习理论》的报告，那时去网上下了一份入门教程，里面讲的很通俗，当时只是大致了解了一些相关概念。这次斯坦福提供的学习材料，让我重新学习了一些SVM知识。我看很多正统的讲法都是从VC 维理论和结构风险最小原理出发，然后引出SVM什么的，还有些资料上来就讲分类超平面什么的。这份材料从前几节讲的lo

转载 支持向量机通俗导论（理解SVM的三层境界）

支持向量机通俗导论（理解SVM的三层境界）作者：July、pluskid ；致谢：白石、JerryLead出处：结构之法算法之道blog。前言    动笔写这个支持向量机(support vector machine)是费了不少劲和困难的，原因很简单，一者这个东西本身就并不好懂，要深入学习和研究下去需花费不少时间和精力，二者这个东西也不好讲清楚，尽管网上

转载 机器学习中的维数灾难

一.引言这里我们将要讨论所谓的“维数灾难”，同时结合过拟合现象来解释它在分类器学习中的重要性。举一个分类应用的简单例子，假设我们有一系列的图片，每张图片的内容可能是猫也可能是狗；我们需要构造一个分类器能够对猫、狗自动的分类。首先，要寻找到一些能够描述猫和狗的特征，这样我们的分类算法就可以利用这些特征去识别物体。猫和狗的皮毛颜色可能是一个很好的特征，考虑到红绿蓝构成图像的三基色，因此用图片三

转载 感知机模型

感知机学习旨在求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求出感知机模型。感知机模型是神经网络和支持向量机的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。1. 感知机模型      感知机模型如下：f(x)= sign(w*x+b)      其中，x为输入向量，sign为符号函数，括号里

转载 Fisher线性判别

转载 LDA 线性判别分析

1. LDA是什么线性判别式分析（Linear Discriminant Analysis），简称为LDA。也称为Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法，在1996年由Belhumeur引入模式识别和人工智能领域。基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样

转载 谈谈SVD和LSA

首先SVD和LSA是什么呢，SVD全称是singular value decomposition，就是俗称的奇异值分解，SVD的用处有很多，比如可以做PCA(主成分分析)，做图形压缩，做LSA，那LSA是什么呢，LSA全称Latent semantic analysis，中文的意思是隐含语义分析，LSA算是topic model的一种，对于LSA的直观认识就是文章里有词语，而词语是由不同的主题生成

转载 矩阵求导公式

基本公式：Y = A * X --> DY/DX = A'Y = X * A --> DY/DX = AY = A' * X * B --> DY/DX = A * B'Y = A' * X' * B --> DY/DX = B * A' 1. 矩阵Y对标量x求导： 相当于每个元素求导数后转置一下，注意M×N矩阵求导后变成N×M了 Y = [y(ij)] --> dY/

转载 实时人脸检测 (Real-Time Face Detection)

最近需要用到人脸检测，于是找了篇引用广泛的论文实现了一下：Robust Real-TimeFace Detection。实现的过程主要有三个步骤：人脸数据准备，算法实现，算法调试。   人脸数据集的准备：网上有很多免费的和付费的。比如这里有个网页介绍了一些常用的人脸数据库。我这里只是人脸检测（不是人脸识别），只要有人脸就可以了，所以我下载了几个数据集，然后把它们混在一起用（后面也因此产生了一些

转载 近期风靡互联网的Deep Dream人工智能图像识别软件

声明：本译文包含六篇以上原外文内容，现汇合一处，附有大量的链接。实际上，我本可以将其拆分成多篇短文陆续发表，但我不想那样做。大翻确实伤身，这样的文章又非常晦涩，所以用了好多天时间才完成。而长时间盯着电脑屏幕阅读、查阅、码字、审阅、修改搞得我身心憔悴。所以，原则上以后不再大翻。因个人水平有限，如文中存在某些翻译不当之处，请各位指正。欢迎转载本文，但请注明译文作者（我）和文章出处，尊重他人的辛苦劳动成

转载 统计学里“P”的故事：蚊子、皇帝的新衣和不育的风流才子

衡量统计真实性的“黄金标准”——P值，并非众多科学家想象的那样可靠。2010年某个瞬间，马特·莫德尔（Matt Motyl）离享受科学荣誉仅有一步之遥。那时，他发现政治极端主义者看到的世界是确实是非黑即白的。实验结果“非常清楚”。莫德尔这样回忆道。他是夏洛茨维尔市弗吉尼亚大学的心理学博士生。他所做的一项涉及近2000人的研究中的数据似乎表明，与左翼或右翼人士相比，政治中立派能更准确地辨别不

转载 文本语言模型的参数估计-最大似然估计、MAP及贝叶斯估计

以PLSA和LDA为代表的文本语言模型是当今统计自然语言处理研究的热点问题。这类语言模型一般都是对文本的生成过程提出自己的概率图模型，然后利用观察到的语料数据对模型参数做估计。有了语言模型和相应的模型参数，我们可以有很多重要的应用，比如文本特征降维、文本主题分析等等。本文主要介绍文本分析的三类参数估计方法-最大似然估计MLE、最大后验概率估计MAP及贝叶斯估计。1、最大似然估计MLE

转载 深度强化学习（Deep Reinforcement Learning）的资源

Google的Deep Mind团队2013年在NIPS上发表了一篇牛x闪闪的文章，亮瞎了好多人眼睛，不幸的是我也在其中。前一段时间收集了好多关于这方面的资料，一直躺在收藏夹中，目前正在做一些相关的工作（希望有小伙伴一起交流）。一、相关文章关于DRL，这方面的工作基本应该是随着深度学习的爆红最近才兴起的，做这方面的研究的一般都是人工智能领域的大牛。最早（待定）的一篇可以追溯到2010年

转载 增强学习 reinforcement learning,MDP

==========================================================================上周生病再加上课余的一些琐事，这边的进度就慢下来了，本篇笔记基于 斯坦福大学公开课cs229 的 lecture16，lecture 17=====================================================

转载 基于SIFT特征的全景图像拼接

主要分为以下几个步骤：(1) 读入两张图片并分别提取SIFT特征(2) 利用k-d tree和BBF算法进行特征匹配查找(3) 利用RANSAC算法筛选匹配点并计算变换矩阵(3) 图像融合SIFT算法以及RANSAC算法都是利用的RobHess的SIFT源码，前三个步骤RobHess的源码中都有自带的示例。(1) SIFT特征

转载 transpose with gpu

#include #include #include #include #include #include #include #include #include #include #include #include /**********************//* cuBLAS ERROR CHECK *//**********************/#ifn

转载 linux下vi命令大全

进入vi的命令 vi filename :打开或新建文件，并将光标置于第一行首 vi +n filename ：打开文件，并将光标置于第n行首 vi + filename ：打开文件，并将光标置于最后一行首 vi +/pattern filename：打开文件，并将光标置于第一个与pattern匹配的串处 vi -r filename ：在上次正用vi编辑时发生系统崩溃，恢复f

转载 Python调用（运行）外部程序

在Python中可以方便地使用os模块运行其他的脚本或者程序，这样就可以在脚本中直接使用其他脚本，或者程序提供的功能，而不必再次编写实现该功能的代码。为了更好地控制运行的进程，可以使用win32process模块中的函数。如果想进一步控制进程，则可以使用ctype模块，直接调用kernel32.dll中的函数。1 使用os.system函数运行其他程序2 使用ShellExecute函

转载 我常用的 Python 调试工具

以下是我做调试或分析时用过的工具的一个概览。如果你知道有更好的工具，请在评论中留言，可以不用很完整的介绍。日志没错，就是日志。再多强调在你的应用里保留足量的日志的重要性也不为过。你应当对重要的内容打日志。如果你的日志打的足够好的话，单看日志你就能发现问题所在。那样可以节省你大量的时间。如果一直以来你都在代码里乱用 print 语句，马上停下来。换用logging.debug。以后你还可