机器学习从零开始 --基础概念+支持向量机（哪天不更了说明放弃了

已于 2022-09-13 18:57:17 修改
阅读量266 收藏
点赞数
文章标签： 机器学习 人工智能 算法
于 2022-09-08 19:25:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/miao_nei/article/details/126770272
版权

机器学习 --浙江大学机器学习笔记 强烈推荐

设置参数：

T-task 要完成的任务
E-experience 用于机器来学习的数据
P-perfoemance 性能评价指标

学习分为：监督学习和强化学习 ps：划分并不绝对

监督学习分为：监督学习和无监督学习 区别在于经验的来源
						监督学习：E来自人工给与
								监督学习分为：分类 回归 这俩种分类不是绝对的
								分类：标签是离散的值   eg：人脸识别
								回归：标签是连续的值		eg：股价								

						非监督学习：E来自自己的不断试错  我们只需要定义收益函数
强化学习：计算机自动改变行为使收益最大化
一般先监督后强化会使效率变高
就像我们学习时先学知识再做题在做题中不断的完善自己就是先监督后强化

监督学习根据数据标签存在与否的分类：

传统的监督学习

应用：	支持向量机
		人工神经网络
		深度神经网络

非监督学习

非监督学习

应用：	聚类
		EM算法
		主成分分析

半监督学习

上面的综合，出现原因 无监督学习太慢，监督学习标签成本高

机器学习步骤

	第一步 ：提取特征 PS：机器学习的重点在于如何构造算法从而获得更好的性能
	第二部：特征选择
	第三步：形成特征空间以及划分  可以是n维

在这里插入图片描述

学习模型——基础概念

NO Free Lunch  Theorem：任何一个预测函数
	如果在一些样本训练上表现好那么必然在另一些样本上表现的不好
	如果不先假设数据 那么一般来说正确和错误的概率相同
	为什么会出现这种情况 是因为我们先假设出现的概率为0.5
	但实际情况往往不是：在特征空间中接近的样本往往一样 
	eg：明天太阳会升起
	机器学习的本质就是由已知->未知 
	没有能适用与一切的好的model

具体算法学习

支持向量机——SVV（苏联乌拉

线性可分 ：可用一条直线（二维）将样本区分开来 ps三维就是平面 四维 超平面
一个
线性不可分：不存在一条直线（二维）将其分开

线性可分–二维 俩类

在这里插入图片描述

Xi为向量  yi{+1 -1}表示分类

在这里插入图片描述

线性可分基于线性代数的转换

在这里插入图片描述

上面的公式逆推即就是预测的过程 即由样本估计分类

步骤

解决线性可分问题
将结论推广到线性不可分中去

怎么判断那个最好？

在这里插入图片描述

二号线对误差的容忍程度最高
怎么想到这条线？看看大佬的想法
将所确定的分类直线向两类样本平行移动 直到和样本相交 俩条线距离最远且在左右俩相交直线的最中间 的就是最优解
高维？ 化为平面即可

支持向量机优化

最小化（严格数学公式

在这里插入图片描述

所必要的前置知识

在这里插入图片描述
在这里插入图片描述

通过a来缩放wb的大小 基于前置知识一

在这里插入图片描述

那么公式2变为

在这里插入图片描述

求d最大及要求w最小 在前面乘以1/2是为了方便后续的求导

在这里插入图片描述

该优化为凸优化中的二次规划问题
凸优化：研究定义于凸集中的凸函数最小化的问题 （只有唯一的全局极值，可用梯度下降算法计算 详情见高数部分（滑稽）
二次规划：目标函数为二次函数，约束条件为线性约束，属于最简单的一种非线性规划。 要求：目标函数是二次项，限制条件是一次项
要么无解 要么有唯一解

在这里插入图片描述

线性不可分时

当线性不可分时 是找不到一个wb满足上式子
因此在这里进行一个改变 （原理 不知道 有点像收敛的定义

在这里插入图片描述
在这里插入图片描述

不仅要让w越小越好，同时让松弛变量越小越好
	c是人为设定的--超参数

在这里插入图片描述

	当C足够大时 松弛变量趋近于0
	从上图中可以发现应该是一条曲线 所以我们因扩大可选函数的范围 不能只满足于线性

解决上述问题

将特征空间由低维映射到高维 （升维度解决）变成线性可分 （数学家消防员故事）
结论：将数据映射到高维可以更容易线性划分

在这里插入图片描述
在这里插入图片描述

用凸函数可以解出和上面之前几乎一模一样
miao_nei
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
支持向量机matlab代码程序-机器学习实战项目-支持向量机
01-04
支持向量机matlab代码程序_机器学习实战项目-支持向量机 ```matlab % 加载数据 load fisheriris X = meas; Y = species; % 划分训练集和测试集 cv = cvpartition(size(X, 1), 'HoldOut', 0.2); X_train = X...
Python机器学习(scikit-learn)：监督学习 - 支持向量机-谢TS的博客.pdf
07-19
支持向量机(SVM) 是一组用于分类、 回归和异常值检测的监督学习方法。支持向量机的优点是：在高维空间中有效。在维度数大于样本数的情况下仍然有效。在决策函数中使用训练点的子集（称为支持向量），因此它也具有...
【初中生讲机器学习】3. 支持向量机（SVM）一万字详解！超全超详细超易懂！
weixin_46836893的博客
02-01 1877
【初中生讲机器学习】一万字详解支持向量机！超全超详细超易懂！！
SVM(支持向量机)原理与应用
AAI666666的博客
02-01 2439
支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面（maximum-margin hyperplane）。
《python机器学习及实践-从零开始通往kaggle竞赛之路》——学习笔记
猴子姑娘呀的博客
08-13 1022
学习笔记：本书不涉及对大量数学模型和复杂编程知识的讲解，旨在整合并实践时下最流行的基于Pyhton语言的程序库，快读搭建有效的机器学习系统
视频教程-从零开始学习机器学习视频教程-机器学习
weixin_30312033的博客
05-28 255
从零开始学习机器学习视频教程 曾就职国内大型的上市软件公司并担任技术骨干及项...
机器学习之深度学习基础--支持向量机（SVM）视频教学
06-09
支持向量机（SVM）是深度学习的基础。本视频课程主要讲解机器学习之支持向量机的主要知识点。本课程包括：间隔与支持向量，对偶问题，核函数，软间隔与正则化，支持向量回归，核方法等知识点。
机器学习+matlab+SVM支持向量机
01-23
支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面...
机器学习-支持向量机的数学推导
11-17
机器学习入门，支持向量机算法概述，支持向量机的数学模型部分推导过程
【机器学习】支持向量机（个人笔记）
Mount256的博客
06-12 836
源代码文件请！
【Python】 了解二分类：机器学习中的基础任务
2333333
06-09 906
二分类（Binary Classification）是指将数据分为两类的一种分类任务。换句话说，模型的输出只有两个类别。这两个类别通常被表示为 0 和 1，或者 -1 和 1，代表两个不同的类别或状态。二分类是机器学习中一个基础而重要的任务，广泛应用于各种实际场景中。通过理解二分类的概念、常用算法及其应用，你可以更好地构建和优化二分类模型，解决实际问题。希望本文能帮助你深入了解二分类，并在实际项目中有效应用这些知识。
机器学习在医学领域中的应用｜文献精析·24-06-13
最新发布
qq_45404805的博客
06-13 766
本节介绍机器学习（ML）的类型、方法和技术的背景，并随后讨论ML在医疗领域的应用。
机器学习常见知识点 2：决策树
m0_63997099的博客
06-09 893
纯度选择最优特征分裂熵基尼不准度均方误差。
额定值高于 1 kW 的电机驱动应用使用 GaN 逆变器 IC
Jesse0257的博客
06-13 264
2019 年，ePower Stage IC 系列产品重新定义了功率转换，将所有必需的电源片上系统功能集成到单个 GaN-on-Si IC 中，并以更高的电压和更高的频率水平（超出了硅的范围）。在该板上，三相 GaN 逆变器的每个半桥由两个 EPC23101 IC 组成，其 PWM 信号交叉连接，允许插入源分流器来读取电流，如图 3 和部分原理图所示。当这些参数结合起来时，由于 GaN 晶体的临界场高 10 倍，因此与硅 MOSFET 相比，电端子之间的距离可以近 10 倍。GaN逆变器IC的应用。
GaN VCSEL：工艺革新引领精准波长控制新纪元
qq_28126171的博客
06-13 257
更令人瞩目的是，它们所展现出的壁插效率峰值已超越20%的界限，这对于氮化镓垂直腔面发射激光器而言，无疑是一项令人叹为观止的成就。日本工程师们凭借精湛的技艺，开创了一种革命性的生产工艺，让VCSEL的制造达到了前所未有的高效与精准。这类激光器独特的结构，包括由交替的AlInN和GaN层形成的电介质顶部镜和底部镜，不仅简化了制造过程，更在性能上实现了质的飞跃。这种特殊方法的应用，不仅体现了工程师们的智慧与勇气，更为氮化镓基VCSELs的未来发展奠定了坚实基础。这一改进的成功实施，极大地提升了器件的性能稳定性。
【机器学习300问】114、什么是度量学习？三元组损失又是什么？
qq_39780701的博客
06-12 575
什么是度量学习？三元组损失和度量学习什么关系？对于余弦相似度而言三元组损失函数怎么表示？度量学习和三元组损失在人脸识别任务中的应用
机器学习--生成式模型和判别式模型的具体分析
weixin_42367888的博客
06-10 636
生成式模型是用于建模输入数据 (X) 和标签 (Y) 的联合概率分布 (P(X, Y))。通过学习联合分布，生成式模型可以推导出条件概率 (P(Y|X)) 进行分类，并且能够生成新的数据样本。
Adaboost集成学习 | Matlab实现基于CNN-LSTM-Adaboost集成学习时间序列预测（股票价格预测）
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
06-13 717
Adaboost集成学习 | Matlab实现基于CNN-LSTM-Adaboost集成学习时间序列预测（股票价格预测）
机器学习 支持向量机
12-19
支持向量机（Support Vector Machine，SVM）是一种常用的机器学习算法，主要用于二分类问题。它通过寻找一个超平面来对样本进行分割，使得不同类别的样本点尽可能地被分开，并且使得超平面与最近的样本点之间的间隔...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值