决策函数 线性模型 线性判别函数和决策边界 逻辑回归模型 Softmax回归 感知器(Perceptron) 支持向量机 核函数 软间隔

决策函数

在这里插入图片描述
在本章,我们主要介绍四种不同线性分类模型:Logistic回归、Softmax回归、感知器和支持向量机,这些模型的区别主要在于使用了不同的损失函数.

线性模型

线性判别函数和决策边界

多分类有不同的方法,会有不同的效果。
在这里插入图片描述

逻辑回归模型

Logistic 回归采用交叉熵作为损失函数,并使用梯度下降法来对参数进行优化。

Softmax回归

Softmax 回归(Softmax Regression),也称为多项(Multinomial)或多类(Multi-Class)的Logistic回归,是Logistic回归在多分类问题上的推广。
Softmax回归使用交叉熵损失函数来学习最优的参数矩阵。

感知器(Perceptron)

由 Frank Roseblatt 于 1957 年提出,是一种广泛使用
的线性分类器。

支持向量机

是一个经典的二分类算法,其找到的分割超平面具有更好的鲁棒性。
支持向量机的目标函数可以通过SMO等优化方法得到全局最优解,因此比其他分类器的学习效率更高.此外,支持向量机的决策函数只依赖于支持向量,与训练样本总数无关,分类速度比较快。

核函数

支持向量机还有一个重要的优点是可以使用核函数(Kernel Function)隐式地将样本从原始特征空间映射到更高维的空间,并解决原始特征空间中的线性不可分问题.比如在一个变换后的特征空间𝜙中,支持向量机的决策函数为。

软间隔

在支持向量机的优化问题中,约束条件比较严格.如果训练集中的样本在特征空间中不是线性可分的,就无法找到最优解.为了能够容忍部分不满足约束的样本,我们可以引入松弛变量。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值