机器学习---4

十三 SVM—线性可分SVM原理

十四　SVM—直观理解拉格朗日乘子法

十五 SVM对偶学习

十六　线性SVM、间隔由硬到软

十七 非线性SVM和核函数

十八 SVR－一种宽容的回归模型

十九　直观认识SVM和SVR
SVM




SVR

二十 HMM－定义和假设

二十一　HMM－三个基本问题
概率计算问题
预测问题
学习问题
二十二　HMM－三个基本问题的计算
直接计算
前向-后向算法
预测算法

二十三　CRF-概率无向图模型到线性链条件随机场
概率无向图模型（Probabilistic Undirected Graphical Model）是一个可以用无向图表示的联合概率分布。

它的整体结构是一张图（Graph），图中每一个节点表示一个或者一组变量，节点之间的边表示这两个/组变量之间的依赖关系。

概率无向图模型还有一个名字——马尔可夫随机场。

势函数和团

关于马尔可夫随机场，有几个非常重要的概念。

势函数（Potential Function，又称为因子 Factor）：是定义在变量子集上的非负实函数，用于定义概率分布函数。

团（Clique）：图中节点的子集，其中任意两个节点之间都有边连接。

极大团：一个团，其中加入任何一个其他的节点都不能再形成团。

马尔可夫随机场中，多个变量之间的联合概率分布可以基于团分解为多个势函数的乘积，每个势函数仅与一个团相关。

条件随机场（Conditional Random Field，CRF）

无向图模型

CRF 也是一种无向图模型。

它和马尔可夫随机场的不同点在于：马尔可夫随机场是生成式模型，直接对联合分布进行建模；而条件随机场是判别式模型，对条件分布进行建模。

但两者又是相关的，CRF 是“有条件的”马尔可夫随机场。也就是说，CRF 是给定随机变量 X 条件下，随机变量 Y 的马尔可夫随机场。定义这里我们给出 CRF 的定义：设 X 和 Y 是随机变量，P(Y|X) 是给定 X 条件下 Y 的条件概率分布。如果随机变量 Y 构成一个由无向图 G=<V,E> 表示的马尔可夫随机场，则称条件概率分布 P(Y|X) 为 CRF。

二十四 CRF—三个基本问题

1. 概率计算问题。
2. 预测问题。
3. 学习问题
   二十五 从有监督到无监督：由KNN引出Kmeans

二十六 K-means—最简单的聚类算法

二十七 谱聚类–无需指定簇数量的聚类
聚类方法有很多，有一种算法，不仅不需要事先指定 k 值，还可以在结果中保证每个簇中的个体数量低于某个量值，这就是基于图切割的谱聚类（Spectral Clustering）。

基于图切割的谱聚类算法过程分为两个大的步骤：

1.图切割
2.谱聚类

二十八 EM算法－－－估计含有隐变量的概率模型的参数

EM（期望最大化，Expectation-Maximization）算法，是一种用于对含有隐变量的概率模型的参数，进行极大似然估计的迭代算法。

二十九　GMM—归类样本

高斯混合模型

三十 GMM－－用EM算法求解ＧＭＭ

三十一　PCA
主成成分分析

三十二 PCA

三十三 人工智能和神经网络