Ehco00x0的博客

逻辑斯蒂回归模型逻辑斯蒂回归是统计学习的经典分类方法.最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型逻辑斯谛模型和最大熵模型都属于对数线性模型逻辑斯蒂分布        分布函数：                                      F(X)= p( X          密度函数：

隐马尔可夫模型是可用于标注问题的统计学习模型。该模型在语音识别、自然语言处理、生物信息、模式识别等领域有着广泛的应用。基本概念定义观测序列的生成过程隐马尔可夫模型的3个基本问题概率计算算法学习算法监督学习方法Baum-Welch算法预测算法近似算法维特比算法基本概念定义：隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成

EM算法是一种迭代算法，1977年由Dempster等人总给提出，用于含有隐变量的概率模型参数的极大似然估计，或极大后验概率，E，求期望；M，求极大似然估计，简称EM算法Dempster：EM算法的引入EM算法EM算法的导出EM算法在非监督学习中的应用EM算法的收敛性EM算法的收敛性高斯混合模型高斯混合模型参数估计的EM算法EM算法的推广F函数的极大-极大算法GEM算法EM算法的

提升(boosting)方法是一种常用的统计学习方法。在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类性能。提升方法Adaboost算法提升方法基本思路AdaBoost算法Adaboost的例子Adaboost算法的训练误差分析Adaboost算法的解释前向分步算法前向分步算法与AdaBoost提升树提升树算法梯度提升Valiant是哈

线性可分支持向量机函数间隔与几何间隔硬间隔最大化算法线性可分支持向量机学习算法最大间隔法支持向量和间隔边界学习的对偶算法算法线性可分支持向量机学习算法对于支持向量的定义线性支持向量机与软间隔最大化线性支持向量机下面给出支持向量机定义相应的学习对偶算法算法线性支持向量机学习算法 支持向量图示化理解 合页损失函数非线性支持向量机与核函数核技巧正定核常用的核函数非线

\,\,\,\,\,\,\,\,用于聚类的无监督方法——将数据对象分割成有限数目的不相关组，使得同组中的数据对象具有某些相似性。现在引入第二类无监督方法，这种方法通常被归类于投影技术 \,\,\,\,\,\,\,\,用于处理高维的数据集，以及如何通过将数据集投影到低维空间对数据进行可视化或者特征选择。这些技术用于处理更大规模的隐变量模型参数的数量随着维度M的增加而增加，我们将M维数据投影到D维的同

参数估计中考虑不确定性，将参数本身作为随机变量只是一个很小的步骤贝叶斯公式似然值P(D l h):对一个特定的h值（模型），我们观察到数据(D)的可能性边缘分布P(D),也称边缘似然值,（意义），然而不幸的是除极少数情况外，很难计算

K 最近邻 (k-Nearest Neighbor，KNN) 分类算法利用训练数据集对特征向量空间进行划分三要素: k值得选择、距离度量、分类决策规则k近邻算法(1)给定距离度量，在训练集T中找到与x最近邻的k个点涵盖这k个点的x领域记作Nk(x);(2)在Nk(x)中根据分类决策规则(如多数表决)决定x的类别y:

概论：感知机（perceptron）是二分类的线性分类模型            ——1957年Rosenlatt提出，神经网络与支持向量机的基础感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化算法分为原始形式和对偶形式感知机预测是用学习得到的感知机模型对新的输入实例进行分类感知

有监督学习：对具有概念标记（分类）的训练样本进行学习，以尽可能对训练样本集外的数据进行标记（分类）预测。这里，所有的标记（分类）是已知的。因此，训练样本的岐义性低。无监督学习：对没有概念标记（分类）的训练样本进行学习，以发现训练样本集中的结构性知识。这里，所有的标记（分类）是未知的。因此，训练样本的岐义性高。聚类就是典型的无监督学习聚类分析是无监督学习的一种方法，介绍两种：K均值（K-means）和

决策树(decision tree)是一种基本的分类与回归方法——用于分类的决策树决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程可以被认为是if-then规则的集合，也可以是定义在特征空间与类空间上的条件概率分布——损失函数最小化原则步骤：特征选择、决策树的生成、决策树的剪枝Quinlan在1986年提出的ID3算法和1993年提出的C4.5算

引入一个随机变量来显式地对数据中的噪声（模型和观测值之间的误差）建模噪声项的引人允许我们获得参数值和预测的置信程度可加性噪声：(pn)tn=w^T * xn +σn可乘性噪声：(p)t=f（x ; w）*σ似然估计（对数）最大似然法：适用于复杂模型噪声的最大似然估计：σ^2（估计）=(t^T*t-t^T*X*w)/

共轭的先验和似然，意味着先验和后验有相同形式（高斯先验加高斯似然导致一个高斯后验）但其余部分，不能计算后验，采取近似的方法                                                                                       非共轭模型精确贝叶斯推理：β二项分布高斯-高斯组合离散和

模型假设最简单模型:y=x克服限制:t=f(x;w0;w1)=w0+w1*x定义最佳参数:(tn-f(xn;w0;w1))^2 数值越小越接近tn平方损失函数：（其它损失函数也可，例绝对损失：Ln=l tn-f(xn;w0;w1) l）Ln(tn,f(xn;w0;w1))=(tn-f(xn;w0;w1))^2 平均损失L=求和（Ln(tn,f

条件随机场(CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔科夫随机场。 主要讲述线性链条件随机场，这时，问题变成了由输入序列对输出序列预测的判别模型，形式为对数线性模型，其学习方法通常是极大似然估计或正则化的极大似然估计。概率无向图模型模型概率无向图模型的因子分解条件随机场的定义与形式条件随机场的定义条件随机场的参数化形式条件