dazhichang6061-CSDN博客

转载统计学习方法李航---第12章统计学习方法总结

第12章统计学习方法总结1 适用问题分类问题是从实例的特征向量到类标记的预测问题；标注问题是从观测序列到标记序列(或状态序列)的预测问题。可以认为分类问题是标注问题的特殊情况。分类问题中可能的预测结果是二类或多类；而标注问题中可能的预测结果是所有的标记序列，其数目是指数级的。感知机、k近邻法、朴素贝叶斯法、决策树是简单的分类方法，具有模型直观、方法简单、实...

2015-08-28 20:22:00 154

转载统计学习方法李航---第11章条件随机场

第11章条件随机场条件随机场(conditional random field, CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。条件随机场可以用于不同的预测问题，本章主要讲述线性链(linear chain)条件随机场在标注问题的应用，这时问题变成了由输入序列对输出序列预测的判别模型，形式为对数线性模型，其学习...

2015-08-28 20:21:00 388

转载统计学习方法李航---第10章隐马尔可夫模型

第10章隐马尔可夫模型隐马尔可夫模型(hidden Markov model, HMM)是可用于标注问题的统计学习模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。10.1 隐马尔可夫模型的基本概念定义10.1 (隐马尔可夫模型) 隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随...

2015-08-28 19:24:00 383

转载统计学习方法李航---第9章 EM算法及其推广

第9章 EM算法及其推广EM算法是一种迭代算法，用于含有隐变量(hidden variable)的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步，求期望(expectation)；M步，求极大( maximization )，所以这一算法称为期望极大算法(expectation maximizationalgorithm)，简称EM算法。...

2015-08-28 18:04:00 467

转载统计学习方法李航---第8章提升方法

第8章提升方法提升(boosting)方法是一种常用的统计学习方法，应用广泛且有效。在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。基本思想：对于分类问题而言，给定一个训练样本集，求比较粗糙的分类规则(弱分类器)要比求精确的分类规则(强分类器)容易得多。提升方法就是从弱学习算法出发，反复学习，得到一系列弱分类器(又称为基...

2015-08-28 18:03:00 307

转载统计学习方法李航---第7章支持向量机

第7章支持向量机支持向量机(support vector machines, SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划(convex quadratic programming)的问题，也等价于正则化的合页损失函数的最小化...

2015-08-28 17:42:00 388

转载统计学习方法李航---第6章逻辑回归与最大熵模型

第6章逻辑回归与最大熵模型逻辑回归(logistic regression)是统计学习中的经典分类方法。最大嫡是概率模型学习的一个准则将其推广到分类问题得到最大熵模型(maximum entropymodel)。逻辑回归模型与最大熵模型都属于对数线性模型。6.1 逻辑回归模型定义6.1(逻辑分布)：设X是连续随机变量，X服从逻辑斯谛分布是指X具有下列分...

2015-08-28 17:32:00 427

转载统计学习方法李航---第5章决策树

第5章决策树决策树(decision tree)是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数...

2015-08-28 17:29:00 354

转载统计学习方法李航---第4章朴素贝叶斯法

第4章朴素贝叶斯法朴素贝叶斯 (naive Bayes) 法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出Y。4.1 朴素贝叶斯法的学习与分类基本方法朴素贝叶斯法通过训练数据集学习X和Y的联合概率分布P(X,...

2015-07-28 12:56:00 350

转载统计学习方法李航---第3章 k近邻法

第3章 k近邻法 k近邻法(k-nearest neighbor, k-NN)是一种基本分类与回归方法。k近邻法假设给定一个训练数据集，其中的实例类别己定。分类时，对新的实例，根据其k个最近邻的训练实例的类别通过多数表决等方式进行预测。k近邻法实际上利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”。k值的选择、距离度量及分类决策规则是k近邻法的三个基本要素。3...

2015-07-28 12:55:00 212

转载统计学习方法李航---第2章感知机

第2章感知机感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化求得感知机模型。2.1 感知机模型...

2015-07-26 10:28:00 201

转载统计学习方法李航---第1章统计学习方法概论

第一章统计学习方法概论统计学习的主要特点是:(1)统计学习以计算机及网络为平台，是建立在计算机及网络之上的;(2)统计学习以数据为研究对象，是数据驱动的学科；(3)统计学习的目的是对数据进行预测与分析；(4)统计学习以方法为中心，统计学习方法构建模型并应用模型进行预测与分析;(5)统计学习是概率论、统计学、信息论、计...

2015-07-26 10:26:00 166

转载机器学习&数据挖掘笔记（常见面试之机器学习算法思想简单梳理）

机器学习&数据挖掘笔记_16（常见面试之机器学习算法思想简单梳理）作者：tornadomeet 出处：http://www.cnblogs.com/tornadomeet　　前言：　　找工作时（IT行业），除了常见的软件开发以外，机器学习岗位也可以当作是一个选择，不少计算机方向的研究生都会接触这个，如果你的研究方向是机器学习/数据挖掘之类，且又对其非常感兴趣的...

2015-07-25 20:30:00 150

转载机器学习中的算法-决策树模型组合之随机森林与GBDT

2015-07-25 20:29:00 71

转载几种分类问题的区别：多类分类，多标签分类，多示例学习，多任务学习

多类分类（Multiclass Classification）一个样本属于且只属于多个类中的一个，一个样本只能属于一个类，不同类之间是互斥的。典型方法：One-vs-All or One-vs.-rest：将多类问题分成N个二类分类问题，训练N个二类分类器，对第i个类来说，所有属于第i个类的样本为正（positive）样本，其他样本为负（negative）样本，每个二类分...

2015-07-25 20:22:00 542

dazhichang6061的博客