统计学习第二章

往797

已于 2023-07-16 15:47:01 修改

阅读量59

点赞数

分类专栏：统计学习文章标签：学习

于 2023-07-16 15:45:27 首次发布

本文链接：https://blog.csdn.net/weixin_67497686/article/details/131743492

版权

统计学习专栏收录该内容

8 篇文章 0 订阅

订阅专栏

文章介绍了感知机作为二分类的线性模型，其学习策略涉及最小化损失函数。接着讲解了梯度下降法的概念和原理。在原始形式的学习算法中，通过不断更新参数以找到正确分类的超平面，虽然解不唯一。文章还探讨了对偶形式，简化计算过程，并讨论了算法的收敛性和有效性。

摘要由CSDN通过智能技术生成

2.1 感知机-----模型介绍和学习策略

一、模型介绍

感知机是一个二分类的线性分类模型。

线性：模型是线性形式的。

下图输入空间到输出空间的函数就称为感知机

w是法向量，垂直于超平面S。

学习策略其实就是最小化损失函数，然后求得参数。

2.2感知机-----准备知识：梯度下降法

一、直观理解

每一步都沿着最陡的方向下山。

二、概念

三、原理

2.3感知机------学习算法之原始形式

一、学习问题

寻找使得损失函数最小的参数w，b

二、原始形式

图中蓝色线为对应初始w0，b0所对应的初始超平面

w是旋转程度，b是截距。最后得到的能正确分类的超平面是不唯一的。

三、例题分析

按假设的wb初始值，对于x1，x1是误分类点，故根据x1进行更新参数。

更新参数后，再进行分类。

经检验，x3是误分类点，利用x3进行更新参数，

四、算法的收敛性

2.4感知机-----学习算法之对偶形式

一、对偶形式

给我的感觉是：其实就是从原始形式的基础上，总结原始形式的规律，合成的对偶形式。

再讲讲怎样计算更简便。

x1出现2次，所以n1=2；x2出现0次，所以n2=0，x3出现5次，所以n3=5

二、例题分析

此时， $\alpha _{1}^{<2>} =1$ （因为之前计算的 $\alpha _{1}^{<1>} =1$ ，这次更新的是α3）,

$\alpha _{2}^{<2>} =\alpha _{2}^{<0>}=0$

$\alpha _{3}^{<2>} =1$

x的下标为几，就更新α几。其他α的不动

四、算法的收敛性

对于一个算法而言，只有该算法是收敛的，该算法才是有效的。

定理（1）说明了超平面的存在性

定理（2）说明了可经过有限次计算能得到

证明

对于划线的等式，等式两边同乘同一个数，等式仍成立，所以能有办法使得左边的那个Wopt的向量的模变为1.

（R/γ）的平方为一个有限值，故k有一个正数的上限。