Part V 支持向量机（Support Vector Machines）支持向量机（Support Vector Machines）被认为是最好的监督学习算法。作为解决二分类问题而被提出。接下来，我想结合自己的理解，来讲讲SVM的故事。故事章节相对而言较多，结合目录来看会更清晰一些。目录Part V 支持向量机（Support Vector Machines）Chapter ...

Part VII EM算法（Expectation-Maximization Algorithm）翻过学习理论的篇章，这一讲关注于非监督算法。首先由经典的K-means算法引出EM算法，最后利用混合高斯模型对于EM算法进行简单阐述。目录Part VII EM算法（Expectation-Maximization Algorithm）1 K-means算法2 EM算法（Exp...

Part VIII 因子分析 主成分分析 独立成分分析在上个部分介绍了EM算法，在此部分因子分析中，我们会再次应用到。因子分析、主成分分析和独立成分分析都作为对于数据维度进行处理的手段，对于我们理解数据、更好的表示数据都起到或多或少的作用，因此将三者放在一起进行叙述。目录Part VIII 因子分析 主成分分析 独立成分分析1 因子分析（Factor Analysis，FA...

前言在之前，先后结合视频与讲义对吴恩达老师斯坦福CS229的机器学习内容进行了回顾，梳理了一遍觉得收获颇丰。接下来结合李航老师的统计学习方法一书，对于书中算法进行学习，加深自己的理解。统计学习方法一书，主要对于比较常用且经典的监督学习算法进行了介绍。在统计学习方法的第一章中，介绍了一些基础知识，虽然没有在这里写出来，但是仍然很有阅读的价值，这些内容对于更好的理解学习的流程有着不小的帮助。...

前言逻辑回归（Logistic Regression）是一个老生常谈的分类算法，谈得越多也就越具有代表性，因为其背后蕴含着深刻的建模思想。关于逻辑回归的一种理解思路在我的斯坦福CS229的第一篇笔记--线性回归中已经做了介绍。这种思路从广义线性模型（GLM）的角度出发进行理解：二分类问题的逻辑回归，是在假设先验分布p（y）为伯努利分布情况下（由于伯努利分布属于指数分布族），根据GLM规则对后...

前言k近邻法（k-nearest neighbor，k-NN）是一种较为简单的、基本的分类与回归算法。接下来只讨论k-NN在分类问题中的应用，应该注意的是k-NN并没有显示的学习过程。除了介绍k-NN模型的思想，也将kd树的内容纳入到此章内容之中。目录1 k-NN模型1.1 距离判断规则1.2 k值的选取1.3 分类决策规则2 kd树2.1 kd树的构建2.2 k...

前言判别学习算法（Discriminative Learning Algorithms）的思路在于直接对于  进行建模，建模得到的结果可直接来进行分类与预测，如逻辑回归和线性回归。而生成学习算法（Generative Learning Algorithms）的思路在于对y和x的联合概率分布进行建模，具体方式是通过对于和进行建模，结合贝叶斯公式，以后验概率的形式推导出 。由于生成学习算法建模的思路...

前言决策树（Decision Tree）是一种基本的分类与回归算法，决策树模型呈树形结构，优点在于模型具有可读性且计算速度快。理解决策树模型可从两个角度进行理解：其一是将其看做根据特征所做的一系列if-then的判别规则；其二从条件概率出发，可理解为在特征满足一系列取值情况下所得到的结果。决策树模型通常包含三个步骤：特征选择、决策树生成、局册数的修剪。决策树的思想主要来源于Quinlan在1...

前言统计学习方法一书中的第7章为支持向量机的内容，由于在之前CS229笔记中已经阐述过该内容，因此不再赘述。但是由于支持向量机的内容比较多而且耐人琢磨，因此在后面可能会考虑将其中的内容（例如对偶问题、SMO等）单独拆开并深入学习从而加深理解。这一章笔记主要讨论提升方法（boosting）的思想，并重点阐述AdaBoost算法。书中最后一节关于提升树的内容不计入该笔记之中，之后应该会单独一章笔...

前言统计学习方法一书中第9章关于EM算法的核心内容，与之前斯坦福CS229学习笔记差不多，因此不再叙述了。但是EM算法作为一个经典且应用很广的算法值得深入探索，因此在之后可能会继续深入EM算法并记下相关学习与思考。这章笔记将记入书中第10章关于隐马尔科夫模型（Hidden Markov Model，HMM）的学习与思考。隐马尔科夫模型在时序数据中有着广泛的应用，属于生成模型的一种。此章笔记主...

Part VI 学习理论（Learning Theory）在之前，我们主要对于常用的监督学习算法进行了阐述，现在做一个小小的回顾。第1讲由回归问题常用的线性回归算法、分类问题常用的逻辑回归算法抛砖引玉，引出指数分布族以及广义线性模型，让我们明白线性回归与逻辑回归实则是广义线性模型在y建模于不同概率分布时的推导形式。第2讲介绍了生成学习算法中常用的两个算法—高斯判别分析和朴素贝叶斯。...

前言之前学习过视频版本的吴恩达老师CS229的机器学习课程，但是觉得并不能理解很好。现在结合讲义，对于之前的内容再次进行梳理，仍然记录下自己的思考。图片来源于网络或者讲义。话不多说，进入正题吧。Part I Regression and Linear Regression线性回归课程内容首先从监督学习开始。在监督学习里，你应该有待训练的特征的集合（训练集）以及标签作为输入，你想...

Part IV Generative Learning Algorithms回顾上一部分的内容，我们解决问题的出发点在于直接对p(y|x;)建模：如线性回归中y建模为高斯分布，逻辑回归y建模为伯努利分布。这样建模的好处在于可以直接得到x到y的映射关系，理解起来也比较直接。这样建模的算法，称为判别学习算法（discriminative learning algorithms）。除此之外，有另...

前言书中最后一章----条件随机场（Conditional Random Field，CRF）是目前为止学习到的比较抽象的一个模型了。网络上许多关于书中的此部分内容的博客、学习资源等都是照本宣科，因此学习这部分内容耗费了不少的精力。接下来结合我个人的理解来谈谈条件随机场。因为符号较多，务必清楚每个符号代表的确切含义。目录1 一个例子2 条件随机场原理2.1 概率无向图模型（马...