2016年07月_血影雪梦

原创 EM算法再次总结

说明：此篇是作者对“EM”的第二次总结，因此可以算作对上次总结的查漏补缺以及更进一步的理解，所以很多在第一次总结中已经整理过的内容在本篇中将不再重复，如果你看的有些吃力，那建议你看下我的第一次总结： http://blog.csdn.net/xueyingxue001/article/details/51374100 EM算法处理的情况 EM算法需要处理样本中含

2016-07-25 09:41:28 14603 8

原创推荐系统 - 4 - LMF基于隐变量的推荐、PCA(主成分分析)

本总结是是个人为防止遗忘而作，不得转载和商用。本节的前置知识是我总结的“推荐系统 - 1、2”。LMF 假设一个场景：假定Ben、Tom、John、Fred对6种商品进行了评价，评分越高代表对该商品越喜欢。0表示未评价，如下图：左图是评价情况，右图是将左图写成矩阵A6*4的样子。

2016-07-21 17:33:03 4916

原创推荐系统 - 3 - 协同过滤算法、随机游走算法

本总结是是个人为防止遗忘而作，不得转载和商用。本节的前置知识是我总结的“推荐系统 - 1、2”。协同过滤算法基于用户行为的数据而设计的推荐算法被称为协同过滤算法(Collaborative Filtering, CF)。什么意思？ “推荐系统 - 1 - 相似度”和本总结合在一起就是在做协同过滤，即：

2016-07-21 17:27:15 11685

原创推荐系统 - 2 - 离线指标和其他指标

本总结是是个人为防止遗忘而作，不得转载和商用。推荐系统的前置知识之一“相似度的判断”见总结“推荐系统 - 1 - 相似度”。评价推荐系统的首要离线指标通过将单个用户的准确率(或召回率)做累加，即得到整个推荐系统的准确率(或召回率)，该离线指标常常用于比较各个推荐系统之间的优劣。如下：R(u)是给用户u作出的推荐列表，而T(

2016-07-21 17:26:01 2705

原创推荐系统 - 1 - 相似度

本总结是是个人为防止遗忘而作，不得转载和商用。相似度/距离计算方法总结既然聚类思路的核心是度量样本间的内在相似性，那相似度/距离的计算方法是什么呢？首先先给出个汇总图，然后在解释，汇总图如下：解释：闵可夫斯基距离/欧氏距离：

2016-07-21 17:23:33 2483

原创聚类 - 6 - Canopy聚类

本总结是是个人为防止遗忘而作，不得转载和商用。 Canopy算法虽然Canopy算法可以划归为聚类算法，但更多的可以使用Canopy算法做空间索引，其时空复杂度都很出色。算法描述 1，对于给定样本x1,x2, ..., xm，给定先验值 r1, r2,，（r1 2，x1, x2, ...,xm形成列表L；构造 xj(1≤j≤

2016-07-20 14:42:33 940 2

原创聚类 - 5 - 谱和谱聚类

本总结是是个人为防止遗忘而作，不得转载和商用。谱什么是谱？先说说咱们口头上经常说的“某个人靠不靠谱”，一般，如果一个人遵守行为准则（即：此人言而有信、说到做到），那这个人就靠谱，反正这个人就不靠谱。反映到坐标轴上的话，如果这条线代表行为准则：如果一个人的行为不会偏离行为准则很多，那就说这个人“靠谱

2016-07-20 11:51:28 4702 10

原创聚类 - 4 - 层次聚类、密度聚类(DBSCAN算法、密度最大值聚类)

本总结是是个人为防止遗忘而作，不得转载和商用。层次聚类：层次聚类的思想有两种：凝聚的层次聚类、分裂的层次聚类。以有A, B, C, D,E, F, G这7个样本为例。凝聚的层次聚类1，将每个对象作为一个簇，这时就有7个簇。2，自底向上合并接近的簇，假设合并成了三个簇：AB，CDE，FG。3，重复第二步直到数量达到规定

2016-07-20 11:49:47 18216 8

原创聚类 - 3 - 轮廓系数

本总结是是个人为防止遗忘而作，不得转载和商用。用聚类算法分好类后如何判断分的效果呢？方法就是轮廓系数(Silhouette)。 Silhouette系数是对聚类结果有效性的解释和验证，由Peter J. Rousseeuw于1986提出。方法： 1，计算样本i到同簇其他样本的平均距离ai。a

2016-07-20 11:45:46 20524 1

原创聚类 - 2 - K-means算法，K中值聚类

本总结是是个人为防止遗忘而作，不得转载和商用。 K-means算法，也被称为k-平均或k-均值，是一种广泛使用的聚类算法，或者成为其他聚类算法的基础。算法步骤输入：样本S = X1, X2,..., Xm。步骤： 1，选择初始的K个类别中心μ1，μ2，...，μk，k

2016-07-20 11:43:33 14702 1

原创聚类 - 1 - 聚类介绍

本总结是是个人为防止遗忘而作，不得转载和商用。很多算法，比如“线性回归、Logistics/softmax回归、SVM”等都是给出了样本xi和样本的类别yi，但是如果只给出样本xi，但是没有给出该样本的类别呢？聚类就是处理这类问题的，它的原理就是根据某种方式的相似性，把一些样本做一个归类。 PS：聚类是无监督的学习方式，刚才提到的线性回归、Logis

2016-07-20 11:41:07 2039

原创 SVM再次总结 - 5 - SMO

说明：此篇是作者对“SVM”的第二次总结，因此可以算作对上次总结的查漏补缺以及更进一步的理解，所以很多在第一次总结中已经整理过的内容在本篇中将不再重复，如果你看的有些吃力，那建议你看下我的第一次总结： http://blog.csdn.net/xueyingxue001/article/details/51261397 SMO(序列最小最优化) 现在已经知道了，

2016-07-19 14:37:51 556

原创 SVM再次总结 - 4 - 非线性支持向量机

说明：此篇是作者对“SVM”的第二次总结，因此可以算作对上次总结的查漏补缺以及更进一步的理解，所以很多在第一次总结中已经整理过的内容在本篇中将不再重复，如果你看的有些吃力，那建议你看下我的第一次总结： http://blog.csdn.net/xueyingxue001/article/details/51261397 核函数咋来的现在已经知道了，对于线性可分

2016-07-19 14:36:22 1535

原创 SVM再次总结 - 3 - 线性支持向量机

说明：此篇是作者对“SVM”的第二次总结，因此可以算作对上次总结的查漏补缺以及更进一步的理解，所以很多在第一次总结中已经整理过的内容在本篇中将不再重复，如果你看的有些吃力，那建议你看下我的第一次总结： http://blog.csdn.net/xueyingxue001/article/details/51261397 百分百正确一定是最好的吗先看一个情况，如

2016-07-19 14:33:49 653

原创 SVM再次总结 - 2 - 线性可分支持向量机

说明：此篇是作者对“SVM”的第二次总结，因此可以算作对上次总结的查漏补缺以及更进一步的理解，所以很多在第一次总结中已经整理过的内容在本篇中将不再重复，如果你看的有些吃力，那建议你看下我的第一次总结： http://blog.csdn.net/xueyingxue001/article/details/51261397 如何定位唯一的分隔超平面

2016-07-19 12:01:56 2429

原创 SVM再次总结 - 1 - 准备知识

说明：此篇是作者对“SVM”的第二次总结，因此可以算作对上次总结的查漏补缺以及更进一步的理解，所以很多在第一次总结中已经整理过的内容在本篇中将不再重复，如果你看的有些吃力，那建议你看下我的第一次总结： http://blog.csdn.net/xueyingxue001/article/details/51261397 线性可分(硬间隔最大化)对于两类数据，有时我

2016-07-19 11:53:55 520

原创最大熵模型（第二次总结）

说明：此篇是作者对“最大熵模型”的第二次总结，因此可以算作对上次总结的查漏补缺以及更进一步的理解，所以很多在第一次总结中已经整理过的内容在本篇中将不再重复，如果你看的有些吃力，那建议你看下我的第一次总结： http://blog.csdn.net/xueyingxue001/article/details/50773796信息量：某事件x的信息量的式子为

2016-07-18 11:31:47 2465

原创 ICA

ICA的著名应用是盲源分离，于是这里就以盲源分离为例子进行说明。题目假设n个人面前有n个话筒，然后这n个人说话时这n个话筒进行录音，这n个人说了m句话，最后从这n个话筒中收集一些录音，目标：从这些录音中分离出每个人的声音。如下图所示：下面开始解题。题目整理首先将信息

2016-07-18 11:21:46 3881 3

原创标量对矩阵求导、复合函数的概率密度

标量对方阵的导数第二个等式的原因是复合函数的概率密度题目：给定X的概率密度fX(x)，若Y = ax，a是某个正实数，求Y的概率密度。遇到这样的问题时不是直接把y代入f(x)然后求，正确的做法是： PS1：如果a是负实数，则给结论的第一个1/a加上绝

2016-07-15 10:24:38 10179

原创极大似然估计

极大似然估计多数情况下，我们是根据条件/概率分布来推算结果，而极大似然估计就是反过来，即：已经知道了结果，然后寻求使该结果出现的可能性最大的条件/概率分布。举个例子。如果其他条件都固定的话“抽烟者发生肺癌的概率是不抽烟者的5倍”，那么如果我已经知道有个人是肺癌，我想问这个人抽烟还是不抽烟时你怎么判断？我想你会说这

2016-07-14 09:45:13 975

原创优化学习率 - 2 - 牛顿法、拟牛顿法

本章总结优化学习率的知识，而前置知识就是“线性回归、梯度下降算法”，因此如果这一章你看的云里雾里甚至连学习率是什么都不知道的话就需要先吧前置知识搞定了。其他说明因为本总结的前置知识是“线性回归、梯度下降算法”，所以之后的内容都是以“求目标函数f(x)的极小值”为目的。不过不用担心求极大值的话该怎么办，因为直接给f(x)加个负号就将问题转换为了求极小值问题了。

2016-07-13 15:02:01 2012 1

原创优化学习率 - 1 - 回溯线性搜索和二次插值线性搜索

本章总结优化学习率的知识，而前置知识就是“线性回归、梯度下降算法”，因此如果这一章你看的云里雾里甚至连学习率是什么都不知道的话就需要先吧前置知识搞定了。其他说明因为本总结的前置知识是“线性回归、梯度下降算法”，所以之后的内容都是以“求目标函数f(x)的极小值”为目的。不过不用担心求极大值的话该怎么办，因为直接给f(x)加个负号就将问题转换为了求极

2016-07-13 14:53:46 4791 2

原创 Logistic回归

前提：本章内容需要在你掌握了梯度下降算法的思想后才能很容易的弄懂，若梯度下降还不明白的话可以看我的总结的“感知机123”，这是感知机1的连接感知机。关于Logistic回归和Softmax回归Logistics回归、Softmax回归和线性回归虽然都是回归，但线性回归不太适合做分类，原因这里就不说了，网上一查一大堆，因此就需要用Logistics回归来处理二分类问题，用Softma

2016-07-12 09:21:00 2762

原创最简总结 -- 梯度下降算法

前提提要：因为某天回顾“最简单”的“随机梯度下降算法”时死活想不出它的数学公式 Loop{ for i=1 to m, { θj :=θj + α(y(i) - hθ(x(i)))xj(i)

2016-07-11 09:57:59 710

原创回归 - 线性回归、θ正则、伪逆

前提说明：因为在做此总结之前我已总结过“感知机算法”，而这里的很多知识(包括预备知识)和“感知机算法”中有重叠，所以本总结的知识不会像我做的其他教程那样对每个知识点都做很详细的解释，如果你已经掌握了“感知机算法”的相关知识，那本总结对你是没问题的，反之，你就需要了解下“感知机算法”了。回归问题线性回归的一般形式如下：

2016-07-11 09:45:44 2717 2

原创凸优化 - 4 - 凸优化、Lagrange乘子法、KKT条件

前提说明：为了方便查阅，我将整个凸优化的内容分成了很多部分，因为后面的部分用到了前面的知识，所以，如果你的目的是查看后面的内容但对前面的某个知识点不甚了解的话可以根据标题查看前面的部分。凸优化终于到凸优化了.... 什么是凸优化问题呢？是这样。慢慢的我们会遇到这样的优化问题：

2016-07-08 09:13:40 13618 3

原创凸优化 - 3 - Jensen不等式、共轭函数、Fenchel不等式

前提说明：为了方便查阅，我将整个凸优化的内容分成了很多部分，因为后面的部分用到了前面的知识，所以，如果你的目的是查看后面的内容但对前面的某个知识点不甚了解的话可以根据标题查看前面的部分。Jensen不等式还记得凸函数的定义吗？也就是这个公式：f(θx+ (1-θ)y) ≤θf(x) + (1-θ)f(y) 用大白话说的话就是：函数

2016-07-08 09:07:51 13838 6

原创凸优化 - 2 - 凸集和凸函数

前提说明：为了方便查阅，我将整个凸优化的内容分成了很多部分，因为后面的部分用到了前面的知识，所以，如果你的目的是查看后面的内容但对前面的某个知识点不甚了解的话可以根据标题查看前面的部分。凸集既然是讲解凸优化，那不了解凸集怎么能行，不过在此之前先了解个和凸集有“一点点”不同的仿射集。仿射集：若通过集合C中任意两个不同点的直线仍在集合C内，则称集

2016-07-08 09:01:08 17348 5

原创凸优化 - 1 - 直线和几何体的向量表达

前提说明：为了方便查阅，我将整个凸优化的内容分成了很多部分，因为后面的部分用到了前面的知识，所以，如果你的目的是查看后面的内容但对前面的某个知识点不甚了解的话可以根据标题查看前面的部分。直线和几何体的向量表达 2x1+ 3x2 -13 = 0 表示一条直线是毋容置疑的，而这种方式我们也经常见到，但这种表达方式对研究凸优化是远远不够的，所以我们来看看另一种表达方式，如下：

2016-07-08 08:46:06 2540 5

原创 QR分解

关于如何求一个矩阵A的特征向量X和特征值λ，在上学时我们通常使用如下方法： AX =λX =λIX （I：单位阵） => |A -λI| = 0 => 求出λ =>代入AX =λX求出X 但在实际应用中这样没啥实际价值

2016-07-05 11:40:33 25135 3

原创对向量、方阵的求导

平时都是对一个数求导，那对向量求导呢？看下面的例子：假设有下面这样的矩阵A和向量X 我们很容易求出现在另 y = A·X，那矩阵y对向量x求偏导的结果是多少？我们来分析一下，既然是矩阵y对向量x求偏导，那就的让矩阵y中的每一个

2016-07-05 11:04:45 31620 7

原创奇异值分解SVD

关于奇异值分解的名字：第一次看“奇异值分解”时真是超不知所以。不过它的英文名字是Singular Value Decompostion。而Signular是“突出的、奇特的、非凡的”的意思，于是用“优值分解”的这个名字好像更贴切些，而且“优值分解”这个名字的第一印象就比“奇异值分解”更让人容易接受。什么是奇异值分解：假设A是一个m*n的实矩阵，那么一

2016-07-05 09:11:40 3736

原创正定阵

定义：对于n阶方阵A，若任意n阶非零向量x(x里面的元素不能全为0)，都有xTAx>0，则称A是正定阵。若条件变成xTAx≥0，则A称作半正定阵类似还有负定阵，半负定阵。数学家为什么要定义正定阵：其实是这样，如果把n降为1，那A就是一个数，而向量x也变成了一个数。那xTAx就是

2016-07-05 09:00:07 1841

原创白化/漂白/whitening

这里总结“白化”或者说“漂白”，其英文名字是：whitening。下文就都用白化来称呼了。定义：先说明下，虽然下面的内容是在解释白化但请先忘掉我们的目的，单纯的跟着下面的内容进行思考： 1，随便给一个n*m的矩阵x，那x·xT就是个n*n的对称阵。

2016-07-04 17:07:43 1156

原创 “正交阵”与“特征值和特征向量”

概念：若n阶矩阵A满足ATA=I，则A为正交矩阵，简称正交阵。 ATA=I解释的话就是： “A的第i行”*“A的第i列”= 1 “A的第i行”*“A的非第i列”= 0。其他： 1，A是正交阵，x为向量，则A·x称作正交变换；

2016-07-04 16:15:13 30366 4

xueyingxue001的专栏