Statistic
文章平均质量分 92
Statistic learning
harry_tea
这个作者很懒,什么都没留下…
展开
-
分类(二):损失函数
在上一篇我们探讨了分类问题的基本概念,同时介绍了熵的概念,并解释了交叉熵和最大似然之间的关系。分类问题可以理解将两个类别p,q的所属分布接近,就是最小化交叉熵。原创 2022-09-14 22:51:26 · 318 阅读 · 0 评论 -
分类问题 (一) : 基本定义
分类问题 (一) : 基本定义本节主要介绍三个部分,第一部分讲解分类问题中的三个主要任务的定义,第二部分讲解交叉熵的基本概念为后面博文做铺垫,第三部分从最大似然角度来对交叉熵进行解读分类问题中有多个任务,例如二分类,多分类以及多标签等,这里分别介绍下基本概念在第二篇博文介绍损失函数之前,这里先介绍熵特别是交叉熵的概念,在分类任务中,我们更多地是使用交叉熵损失而非均方差损失首先介绍信息量的概念,然后进而到熵,相对熵和交叉熵定义:假设XXX是一个离散型随机变量,取值为集合X=x0,x1,...,xnX=x_{0原创 2022-08-18 21:30:44 · 1516 阅读 · 0 评论 -
SVM的一些疑问
1. 为什么SVM问题中的正类y=-1,负类y=1我们知道任一点到超平面的距离为∣wTx+b∣∣∣w∣∣\frac{|w^{T}x+b|}{||w||}∣∣w∣∣∣wTx+b∣在之前的描述中我们知道函数间隔γ^=∣wTx+b∣=y(wTx+b)\hat{\gamma} = |w^{T}x+b| = y(w^{T}x+b)γ^=∣wTx+b∣=y(wTx+b),几何间隔γ~=∣wTx+b∣∣∣w∣∣=y(wTx+b)∣∣w∣∣\tilde{\gamma} = \frac{|w^{T}x+b|}{原创 2021-10-29 11:11:02 · 286 阅读 · 0 评论 -
详解SVM
本文目录详解SVM一、什么是SVM1. SVM定义2. 函数间隔和几何间隔(1)函数间隔(2)几何间隔3. 支持向量二、详解SVM一、什么是SVMSVM是一种二类分类模型,与感知机不同的是,他的基本模型是定义在特征空间上的间隔最大的线性分类器。支持向量机还包括核技巧,使他成为实质上的非线性分类器。一句话总结:SVM就是通过监督学习来解决二分类问题1. SVM定义线性可分支持向量机:给定线性可分训练数据集,通过间隔最大化或等价的求解相应的凸二次规划问题学习得到的分离超平面为w∗⋅x+b∗=0w原创 2021-10-29 11:10:49 · 7074 阅读 · 0 评论 -
统计学习(一):最大似然估计
文章目录一、似然函数定义二、最大似然估计的无偏性判断分为三种情况三、最大似然和最小二乘的关系最大似然估计(Maximum likelihood estimation)可以简单理解为我们有一堆数据(数据之间是独立同分布的.iid),为了得到这些数据,我们设计了一个模型,最大似然估计就是求使模型能够得到这些数据的最大可能性的参数,这是一个统计(statistics)问题与概率(probability)的区别:概率是我们已知参数θ\thetaθ来预测结果,比如对于标准高斯分布X~N(0,1)X~N(0, 1原创 2021-10-04 10:58:06 · 3640 阅读 · 0 评论 -
统计学习(二):正则化
文章目录一、正则化二、约束问题1. 转化为广义拉格朗日函数2. 引入对偶解拉格朗日函数3. 拉格朗日与其对偶问题的关系一、正则化在统计机器学习中,我们常常希望将我们的变量或者权重进行一定的约束,假设我们的模型为y=ax+b,我们希望对a加以限制,一般有两种选择:注意这两种选择中要求的值都是a&ba \& ba&b,而不是xxx,所以对aaa进行了约束约束问题:对a的取值加以限制,然后用最小二乘法进行求解,分为等式约束、大小于号约束constraint form: (a^原创 2021-10-04 11:00:49 · 338 阅读 · 0 评论 -
感知机(Perception)
本文目录感知机(Perception)一、基本介绍1. 数学定义2. 图形表示3. 线性可分二、损失函数三、感知机的求解1. 原始形式(1) 求解过程(2) 具体实例2. 对偶形式四、程序实例感知机(Perception)一、基本介绍感知机是二元分类线性模型,输入为特征向量,输出为实例的类别,取值为+1和-1对于线性可分的输入实例,感知机可以通过梯度下降法学习一个分离超平面,将实例分开1. 数学定义假设输入空间(特征空间)是X⊆RnX \subseteq \mathbb{R}^{n}X⊆Rn ,原创 2021-10-25 21:42:45 · 544 阅读 · 0 评论