李航统计学习方法
翔燕
这个作者很懒,什么都没留下…
展开
-
第一章--统计学习方法概论---(1)
1. 统计学习方法(1)监督学习特点:有标签训练集必须由带标签的样本组成使用时数据集分为:训练集、验证集和测试集能通过代价函数直观判断学习方法的优劣监督学习的算法模型有:线性回归,逻辑回归,支持向量机、神经网络等。使用场景:用于分类、标注和回归问题,在自然语言处理、信息检索、文本数据挖掘应用广泛。(2)非监督学习特点:没有标签;只有要分析的数据集的本身一组数据,没有训...原创 2019-09-02 23:19:15 · 177 阅读 · 0 评论 -
第二章--感知机---(2)
1.模型简介感知机是根据输入实例的特征向量xxx对其进行二类分类的线性分类模型算法是基于随机梯度下降法的对损失函数的最优化算法,有原始形式和对偶形式。算法简单且易于实现。原始形式中,首先任意选取一个超平面,然后用梯度下降法不断极小化目标函数。在这个过程中一次随机选取一个误分类点使其梯度下降。感知机学习算法是误分类驱动,采用随机梯度下降。当训练数据集线性可分时,感知机学习算法是收敛的。且...原创 2019-09-03 11:18:33 · 112 阅读 · 0 评论 -
第五章--决策树---(5)
1.决策树(1)决策树模型是一种描述对实例进行分类的树形结构。由结点(结点:内部结点(表示一个特征或者属性)和叶结点(表示一个分类))和有向边组成。决策树可以转换成一个if-then规则的集合。决策树表示给定特征条件下类的条件概率分布。决策树学习旨在构建一个与训练数据拟合很好,并且复杂度小的决策树。从可能的决策树中直接选取最优决策树是NP完全问题。现实中采用启发式方法学习次优的决策...原创 2019-09-09 17:29:27 · 278 阅读 · 0 评论 -
第10章--隐马尔可夫模型(HMM)---(10)
1.模型概述(1)模型定义隐马尔可夫模型是关于时序的概率模型,描述由一个隐藏的马尔可夫链随机生成不可观测的状态的序列,再由各个状态随机生成一个观测而产生观测序列的过程。(2)相关概念状态序列:隐藏的马尔可夫链随机生成的状态序列。观测序列:每一个状态生成一个随机的观测序列。是一个生成模型,表示状态序列和观测序列的联合分布,但是状态序列是隐藏的,不可观测的。可以用于标注,这时状态对应着...原创 2019-09-10 18:01:50 · 388 阅读 · 0 评论 -
第7章--支持向量机(SVM)---(7)
1.概述是一种二分类模型;基本模型是在特征空间熵的间隔最大的线性分类器;学习策略是,间隔最大化,正则化的合页损失最小化;是求解凸二次规划的最优化算法;包含:线性可分支持向量机(硬间隔支持向量机)、线性支持向量机(软间隔支持向量机)、非线性支持向量机(使用核技术及软间隔最大化)2.线性可分支持向量机构建它的条件是训练数据线性可分。其学习策略是最大间隔法。线性可分支持向量机的最...原创 2019-09-11 17:40:39 · 286 阅读 · 0 评论 -
第4章--朴素贝叶斯(naive Bayes)---(4)
1.概述是典型的生成学习方法是基于贝叶斯理论和特征条件独立假设的分类方法训练时:通过学习先验概率分布P(Y=ck)P(Y=c_k)P(Y=ck) 和条件概率分布P(X=x∣Y=ck)P(X=x|Y=c_k)P(X=x∣Y=ck),得到联合概率分布P(X,Y)=P(Y)P(X∣Y)P(X,Y)=P(Y)P(X|Y)P(X,Y)=P(Y)P(X∣Y)分类时:使用学习到的模型对输入xxx计...原创 2019-09-15 11:53:18 · 168 阅读 · 0 评论 -
第6章--逻辑斯蒂回归与最大熵模型---(6)
1.逻辑斯谛回归模型概述属于对数线性模型采用对数似然函数极大化为优化目标模型学习一般采用极大似然估计,或正则化的极大似然估计通常采用梯度下降和拟牛顿法学习参数学习方法有改进的迭代尺度法、梯度下降法、拟牛顿法模型在输入很大和很小的时候出现梯度趋于0 的情况可以形式化为无约束最优化问题(1)逻辑斯谛分布分布函数属于逻辑斯谛函数分布函数是S型曲线,关于点(μ,12)(\mu,\...原创 2019-09-16 11:39:05 · 140 阅读 · 0 评论 -
第11章--条件随机场(CRF)---(11)
1.概述给入一组输入随机变量的条件下另一组输出随机变量的条件概率分布特点:假设输出随机变量构成隐马尔可夫随机场线性链条件随机场——应用与标注问题,学习方法是极大似然估计或正则化的极大似然估计条件随机场可以应用于不同的测试问题2.概率无向图模型(1)相关定义图:由结点及连接结点的边组成的集合无向图:指边没有方向的图概率图模型:指由图表示的概率分布无向图表示的随机变量之间存在...原创 2019-09-16 17:36:30 · 191 阅读 · 0 评论