Fluentwater的博客

分类模型评价指标简述

Logistic Regression（简称LR）虽然被称为回归，但其实是分类模型，并常用于二分类。LR由于其简单、可并行化、可解释性强深受工业界喜爱，尤其是金融领域。LR模型的本质是：假设数据集服从这个分布，然后用极大似然估计做参数的估计。

决策树是一种基本的分类和回归方法，本文主要讨论用于分类的决策树，在分类问题中，表示基于特征对实例进行分类的过程。决策树可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布，学习时，利用训练数据，根据损失函数最小化原则建立决策树，决策树学习主要包括3个步骤：特征选择，决策树的生成和决策树的修剪。1.特征选择特征选择在于选取对训练数据具有分类能力的特征，这样可以提高决策

支持向量机是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使他有别于感知机；支持向量机还包括核技巧，这使他成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。支持向量机的学习算法是求解凸二次规划的最优化问题。支持向量机学习方法包括构建由简至繁的模型：线性可分支持向量机，线性支持向量

朴树贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型。对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。