统计学习方法
imsuhxz
这个作者很懒,什么都没留下…
展开
-
【统计学习方法】||2感知机
【感知机】1957年由Rosenblatt提出,是神经网络与支持向量机的基础。感知机旨在求出将训练数据进行线性划分的分离超平面。(判别模型)(存在一个线性函数分离的超平面能将训练数据划分为正负两类。解不唯一,依赖于初始值的选择。若要唯一,请看线性支持向量机。)1.模型wx+b是一个n维空间中的超平面S,其中w是超平面的法向量,b是超平面的截距,这个超平面将特征空间划分成...原创 2019-03-14 10:40:59 · 276 阅读 · 1 评论 -
【统计学习方法】||6逻辑回归
【逻辑回归】逻辑回归模型是对数线性模型的分类模型。(判别模型)(逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法,运用梯度下降来求解参数,来达到将数据二分类的目的。)0.伯努利分布伯努利分布(Bernoulli distribution)又名两点分布或0-1分布,介绍伯努利分布前首先需要引入伯努利试验(Bernoulli trial)。伯努利试验是只有两种可能结果的...原创 2019-04-18 17:04:46 · 566 阅读 · 0 评论 -
【统计学习方法】||3K近邻法
【K近邻法】1968年由Cover和Hart提出。k近邻法假设给定一个训练数据集,其中的实例类别已定。分类时,对新的实例,根据其k个最近邻的训练实例的类别,通过多数表决等方式进行预测。k近邻法实际上利用训练数据集对特征向量空间进行划分,并作为其分类的“模型”。1.模型2.三个基本要素k近邻法三要素:k值得选择、距离度量和分类决策规则。 2.1 k值的选择...原创 2019-04-18 17:20:24 · 295 阅读 · 0 评论 -
【统计学习方法】||5决策树
【决策树】1986年Quinlan提出ID3算法,1993年Quinlan又提出C4.5算法,1984年Breiman等人提出CART算法。决策树是一个呈树形的分类与回归模型。(判别模型)决策树学习包括3个步骤:特征选择、决策树的生成和决策树的修剪。奥卡姆剃刀定律:“如无必要 勿增实体”, 即”简单有效原理”。0.预备信息熵,信息量的期望;互信息,度量X在知道Y...原创 2019-04-18 17:49:22 · 883 阅读 · 0 评论 -
【统计学习方法】||8集成学习
【集成学习】集成学习是一大类模型融合策略和方法的统称,其中包含多种集成学习的思想。是一种分类和回归模型。(判别模型)集成学习的种类有:Boosting, Bagging 。提升树(boosting)是2000年由Friedman等人提出。AdaBoost算法是1995年由Freund和Schapire提出。“三个臭皮匠,顶一个诸葛亮”1.模型Q1:如何得到若干个...原创 2019-04-25 10:49:56 · 397 阅读 · 0 评论 -
【统计学习方法】||7支持向量机
【支持向量机】支持向量机(support vector machines, SVM)是一种二类分类模型(判别模型)。它的基本模型是定义在特征空间上的间隔最大的线性分类器。支持向量机包括:线性可分支持向量机(linear support vector machine in linearly separable case)、线性支持向量机(linear support vector machin...原创 2019-04-25 14:57:15 · 308 阅读 · 0 评论