统计学习方法读书笔记3-感知机SVM

最新推荐文章于 2021-11-23 21:43:01 发布
最新推荐文章于 2021-11-23 21:43:01 发布
阅读量185 收藏
点赞数
分类专栏： # 机器学习《统计学习方法》 文章标签： 机器学习 算法 python 感知机
本BLOG上原创文章未经本人许可，不得用于商业用途，转载请注明出处。
本文链接：https://blog.csdn.net/weixin_46649052/article/details/109178984
版权

文章目录


感知机是二类分类的线性分类模型，其输入是实例的特征向量，输出为实例的类别，属于判别模型。感知机旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法，对损失函数进行极小化，得到感知机模型。
在这里插入图片描述

1.感知机模型

在这里插入图片描述
在这里插入图片描述

2.感知机的学习策略

1.数据集的线性可分性

感知机一般划分线性可分数据集

2.感知机学习策略

在这里插入图片描述
在这里插入图片描述

3.感知机学习算法

1.原始形式-随机梯度下降法

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.对偶形式
对偶形式与原始形式的比较：

 - 对偶形式解决了原始形式的冗余问题
 - α与w的比较，空间复杂度降低
 - 引入了Gram矩阵，消除了x_i,x_j的影响，时间复杂度为O(1)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.感知机算法收敛性证明

P41~P43
在这里插入图片描述
在这里插入图片描述

哎呦-_-不错
关注
专栏目录
感知机的原始形式和对偶形式，并说明Gram矩阵的用处及对比两种形式的时间
weixin_43981664的博客
05-15 762
本文算法来源于李航的《统计学习方法》。 本文主要实现其中的两种算法，并做两种时间的对比。 不难看出这里面有固定不变的部分 是不变的可以用gram矩阵储存，减少后续计算部分，这个也是计算时间大幅度减少的主要原因。 public class Test1_1 { public static double[]w = {0.0,0.0} ;//初始值 public static doub...
统计学习方法读书笔记（一）-统计学习及监督学习概述
scu-liu的博客
01-15 556
全部笔记的汇总贴：统计学习方法读书笔记汇总贴 一、统计学习 统计学习以计算机及网络为平台，是建立在计算机及网络上的； 统计学习以数据为研究对象，是数据驱动的学科； 统计学习的目的是对数据进行预测与分析； 统计学习以方法为中心，统计学习方法构建模型并应用模型进行预测与分析； 统计学习是概率论、统计学、信息论、计算理论、最优化理论及计算机科学等多个领域的交叉学科，并且在发展中逐步形成独自的理论体系与方法论。 二、统计学习的分类 分为监督学习（supervised learning）、无监督学习（unsupe
感知机中的对偶形式理解
NBW_GX的博客
08-24 2924
作者：陶轻松 链接：https://www.zhihu.com/question/26526858/answer/131591887 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 遇到对偶问题呢，一定要先回归基础，不要急着去看结论： 首先，咱们了解一下【对偶】的定义是什么，简单的说，就是从一个不同的角度去解答相似问题，但是问题的解是相通的，甚至
感知机学习算法的原始形式和对偶形式
LLL_yx的博客
11-16 958
原始形式和对偶形式是从两个方面去计算梯度下降的问题，两种方法找误分点的个数是一样的，区别在于，找到一个误分点时两者接下来的计算方法：（N为训练集大小，n为特征数量） （1）对偶形式：扫一遍N，计算每条数据在之前被加了几（ai）次（当η取1时，ai相当于第i组数据的梯度xiyi被加了几次，找到一个误分点后直接加上，而不是每次加），因为xixj已经被提前计算在Gram矩阵中，所以每次是O（1），那么扫一遍N就是O（N）。 （2）原始形式：每次计算w*x，计算此内积复杂度为O（n） 所以看下来，选择哪种计算
【统计学习方法-李航-笔记总结】二、感知机（感知机的原始形式与对偶形式）
zl3090的博客
09-14 1835
本文是李航老师《统计学习方法》第二章的笔记，欢迎大佬巨佬们交流。 主要包括以下几部分： 1. 感知机模型 2. 感知机策略 3. 感知机算法   1. 感知机模型     感知机是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1两个值。感知机旨在求出将训练数据进行线性划分的超平面，为此利用基于误分类的损失函数，利用梯度下降对其极小化，求得感知机模型。 定...
统计学习笔记-导论 感知机算法原始、对偶形式 原理、python实现
keep用心的博客
11-23 663
1.过拟合产生的原因以及造成的影响 统计学习有3个要素，模型、策略以及算法。给定一组数据集，需要通过模型对数据的分布进行拟合。先把原始的数据集划分为训练集、验证集和测试集，训练集用来对模型的参数进行更新，测试集用来衡量训练好的模型的性能。如果模型在训练集上的准确率很高、在测试集上的准确率很低，那么说明发生了过拟合，即模型对训练集拟合的过好了。造成的影响就是模型的泛化能力低，模型对于训练集以外的数据很难拟合。就相当于为了准备考试，使劲刷题，题库里（训练集）的题目都做对了，但是真正考试的时候（测试集）却得分很低
统计学习方法读书笔记（七）-支持向量机
scu-liu的博客
01-18 312
全部笔记的汇总贴：统计学习方法读书笔记汇总贴 支持向量机（support vector machines, SVM）是 一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。 本文的大体内容可以参考白板推导系列笔记（六）-支持向量机和白板推导系列笔记（七）-核方法 一、线性可分的支持向量机与硬间隔最大化 支持向量机就是找到最大的间隔分离超平面。 构造一个约束最优化问题并求解 {minw,b12wTws.t.
统计学习方法-支持向量机-读书笔记
qq_38829768的博客
11-12 321
统计学习方法-支持向量机-读书笔记1、前言2、线性可分支持向量机2.1线性可分支持向量机2.2 函数间隔2.3 几何间隔2.4 硬间隔最大化2.5 对偶算法2.6支持向量和间隔边界3、线性支持向量机3.1对偶函数3.2合页损失函数4、非线性支持向量机4.1 算法4.2常用核函数4.3 序列最小最优化（SMO）算法 1、前言 支持向量机(support vector machines,SVM)是一种...
统计学习方法读书笔记第七章：支持向量机
weixin_40692963的博客
02-15 538
统计学习方法读书笔记第七章：支持向量机统计学习方法读书笔记第七章：支持向量机线性可分支持向量机与硬间隔最大化 统计学习方法读书笔记第七章：支持向量机 支持向量机(support vector machines, SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是...
机器学习&深度学习资料笔记&基本算法实现&资源整理.zip
最新发布
03-03
线性回归 - logistic回归 - 感知机 - SVM(SMO) - 神经网络 决策树 - Adaboost kNN - 朴素贝叶斯 EM - HMM - 条件随机场 kMeans - PCA ROC曲线&AUC值 Stacking（demo） 计算IOU 参考：《机器学习》周志华 《统计学习...
读书笔记-统计学习方法（李航） 第七章
weixin_42681868的博客
05-17 1397
第七章 支持向量机7.1 线性可分支持向量机与硬间隔最大化7.2 线性支持向量机与软间隔最大化7.3 非线性支持向量机与和函数7.4 序列最小最优化算法实战： 7.1 线性可分支持向量机与硬间隔最大化 支持向量机是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的， 间隔最大使它区别于感知机。 支持向量机还包括核技巧，这使它成为实质上的非线性分类器。 学习策略可以形式化为求解凸二次规划问题，或者等价于 最小化合页损失 分离超平面： 决策函数： 函数间隔： 几何间隔： 原始目标函数： 上式中的
《统计学习方法（第二版）》李航 读书笔记 （5）感知机原理、例题和习题2.3推导
大白的博客
04-08 486
《统计学习方法（第二版）》李航 读书笔记 （5） 感知机原理、例题和习题2.3推导 二分类线性模型，输入为实例的特征向量，输出为实例的类别 感知机对应于输入空间中将实例划分为正负两类的分离超平面，属于判别模型； 导入基于误分类的损失函数； 利用梯度下降法对损失函数进行极小化； 感知机学习算法具有简单而易于实现的优点，分为原始形式和对偶形式； 1957年由Rosenblatt提出...
西瓜书---读书笔记5-6章--神经网络和支持向量机
嗒獭想睡觉
06-25 268
平时做项目会用到神经网络还有svm~所以写的比较简略，因为论文里面以前就写过蛮多关于这些的，自己比较熟悉（自认为），所以简单复习一下啦~ 5 神经网络 定义：神经网络是具有适应性的简单单元组成的广泛而互联的网络，它的组织可以模拟生物神经系统对真实世界物体所做出的交互反映。 历史： 神经元模型：m-p神经元模型，1943被提出。 感知机：只有输入输出两层，且只在输出层有激活函数...
7.2 GaussianMixture实战
柳杰的博客
02-08 1773
文章目录1.多维GMM聚类2.GMM调参 1.多维GMM聚类 #!usr/bin/env python # -*- coding:utf-8 -*- """ @author: admin @file: EM.py @time: 2021/02/03 @desc: """ import numpy as np from scipy.stats import multivariate_normal from sklearn.mixture import GaussianMixture import matpl
统计学习方法读书笔记15-逻辑斯蒂回归习题
柳杰的博客
10-24 485
文章目录1.课后习题2.视频课后习题 1.课后习题 import numpy as np import time import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D from pylab import mpl # 图像显示中文 mpl.rcParams['font.sans-serif'] = ['Microsoft YaHei'] class LogisticRegression: def __i
统计学习方法读书笔记7-K近邻习题
柳杰的博客
10-21 442
文章目录1.课本课后习题2.视频课后习题1.KNN自编程2.sklearn实现 1.课本课后习题 import numpy as np import matplotlib.pyplot as plt from matplotlib.colors import ListedColormap from sklearn.neighbors import KNeighborsClassifier # 实例点 x = np.array( [[0.5, 0.9], [0.7, 2.8], [1.3, 4.6
统计学习方法读书笔记13-改进的迭代尺度法(优化算法)
柳杰的博客
10-23 317
文章目录1.改进的迭代尺度法 1.改进的迭代尺度法
统计学习方法读书笔记11-决策树课后习题
柳杰的博客
10-23 295
文章目录1.课本课后习题 1.课本课后习题 import graphviz import numpy as np import pandas as pd from sklearn.tree import DecisionTreeClassifier from sklearn import preprocessing from sklearn import tree import matplotlib.pyplot as plt features = ["年龄", "有工作", "有自己的房子", "信贷
SVM支持向量机学习：核函数与统计学习理论
"核函数的有效判定-SVM支持向量机学习课件" 支持向量机(SVM)是一种监督学习模型，特别适用于分类和回归任务。SVM的核心思想是找到一个最优超平面，使得数据点被有效地分隔开来，同时最大化类别间的间隔。SVM理论...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值