2018年07月_W_Sqh

原创第六章统计学习方法-逻辑斯蒂回归与最大熵模型

逻辑斯蒂回归（logistic regression）是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型（maximum entropy model）。逻辑斯蒂回归模型与最大熵模型都属于对数线性模型。6.1.1 逻辑斯蒂分布设X是连续随机变量，X服从逻辑斯蒂分布是指X具有下列分布函数和密度函数：式中，u为位置参数，y>0为形式参数...

2018-07-25 09:12:49 370

决策树(decision tree)是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分类。...

2018-07-23 11:25:45 1356

原创第4章朴素贝叶斯法

朴素贝叶斯 (naive Bayes) 法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出Y。4.1 朴素贝叶斯法的学习与分类基本方法朴素贝叶斯法通过训练数据集学习X和Y的联合概率分布 P(X,Y)。训练数据集 ...

2018-07-17 14:49:10 302

原创第三章统计学习方法-K-近临法

k近邻法(k-nearest neighbor, k-NN)是一种基本分类与回归方法。k近邻法假设给定一个训练数据集，其中的实例类别己定。分类时，对新的实例，根据其k个最近邻的训练实例的类别通过多数表决等方式进行预测。k近邻法实际上利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”。k值的选择、距离度量及分类决策规则是k近邻法的三个基本要素。3.2 k近邻模型k近邻...

2018-07-16 16:43:47 459

原创第2章统计学习-感知机

感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化求得感知机模型。2.1 感知机模型定义(感知机)：假设输入空间(特征空间)是X属于...

2018-07-16 14:30:41 587

转载第一章统计学习方法概论

统计学习的主要特点是:(1)统计学习以计算机及网络为平台，是建立在计算机及网络之上的;(2)统计学习以数据为研究对象，是数据驱动的学科；(3)统计学习的目的是对数据进行预测与分析；(4)统计学习以方法为中心，统计学习方法构建模型并应用模型进行预测与分析;(5)统计学习是概率论、统计学、信息论、计算理论、最优化理论及计算机科学等多个领域的交叉学科，并且在发展中逐步形成独自的理论体系与方法论.统计学习...

2018-07-14 23:15:56 279

原创机器学习-术语

机器学习方法是计算机利用已有的数据，得出了某种模型，并利用此模型预测未来的一种方法。机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法。机器学习是一种通过利用数据，训练出模型，然后使用模型预测的一种方法。首先，我们需要在计算机中存储历史的数据。接着，我们将这些数据通过机器学习算法进行处理，这个过程在机器学习中叫做“训练”，处理的结果可以被我们用来对新的数据进行预测，这个...

2018-07-05 14:28:31 1675

ILancy的博客