机器学习初步-笔记

已于 2022-10-30 16:29:47 修改
阅读量454 收藏 6
点赞数
文章标签： 机器学习 人工智能 python
于 2022-10-27 21:07:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41732253/article/details/127514596
版权

机器学习初步-笔记

第一章-绪论

1.1教材

在这里插入图片描述

1.2课程定位

  • 搞清楚是什么为什么这么做

1.3机器学习

  • 利用经验改善系统自身的性能，目前主要研究智能数据分析的理论和方法

1.4典型的机器学习过程

  • “好瓜、坏瓜”是一个西瓜样例的类别标记
    在这里插入图片描述

1.5计算学习理论

  • x是输入数据，f是模型；y是预测值|f(x)-y|<=ε，P(|f(x)-y|)>=1-δ,δ绝对小并且1-δ接近1，表示概率P的值绝对准；PAC概率近似正确。
    在这里插入图片描述

1.6基本术语

  • 输出结果不知道就是无监督学习。泛化：学到的数据，再处理新数据的能力，就是指ε 到底可以达到多少。
  • 示例:一行样本的各个属性值(特征值)
  • 样例:好瓜
  • 假设:学到的模型f(x)
    在这里插入图片描述

1.7归纳偏好

  • 偏置，对某种东西有特殊的喜好，若非必要，勿增实体
  • 奥卡姆剃刀 原则：若有多个假设与观察一致，则选最简单的那个

1.8NFL定理

在这里插入图片描述

第二章-模型评估与选择

2.1泛化能力

  • 错误率低，精度高；对新的数据的处理能力强。

2.2过拟合和欠拟合

  • 泛化误差:在“未来”样本上的误差
  • 经验误差:在训练集.上的误差，亦称“训练误差”
  • 过拟合：就是训练集训练过度，新的样本预测能力差
  • 欠拟合：就是训练集训练不好，新的样本预测能力也差

2.3三大问题

  • 如何获得测试结果?评估方法
  • 如何评估性能优劣?性能度量
  • 如何判断实质差别?比较检验

2.4评估方法

  • 如何将测试集和验证集分割；注意原始数据集应该互斥

留出法(hold-out)

  • 保持数据分布一致性( 例如:分层采样)
  • 多次重复划分(例如: 100次随机划分)
  • 测试集不能太大、不能太小(例如: 1/5~1/3) .
  • 存在缺点：不能每个样本都测试到，会遗漏样本

交叉验证法(cross validation)

  • k-折交叉验证
    在这里插入图片描述
  • 存在缺点：如果男女性别的测试，测试精度就会不准

自助法(bootstrap)：有放回采样

在这里插入图片描述

2.5调参与验证集

在这里插入图片描述

2.6性能度量

  • 均方误差
    在这里插入图片描述
  • 错误率和精度
    在这里插入图片描述
  • 查准率和查全率。查全率：收购西瓜的公司希望把瓜摊的好瓜都尽量收走。
    在这里插入图片描述

在这里插入图片描述

2.7比较检验

在这里插入图片描述

第三章-线性模型

3.1线性回归

  • w，b求出最优解
    在这里插入图片描述

  • 序关系：高1.0 中0.8 低0.5

  • 一些青色，浑浊，沉闷变成onehot编码[0 1 0]代表浑浊这样。

△3.2最小二乘解-已经手写推导

  • 最小二乘法：基于均方误差最小化来进行模型求解的方法称为
  • 偏导求极大值和极小值，找它的变化率
    在这里插入图片描述

3.3多元线性回归

  • 归纳偏好-正则化
    在这里插入图片描述

3.4广义线性模型

  • 逼近对数线性回归
    在这里插入图片描述

  • 联系函数
    在这里插入图片描述

3.5对率回归

  • 几率
    在这里插入图片描述

  • 对率回归；是分类学习算法
    在这里插入图片描述

△3.6对率回归求解

  • 对数几率回归为什么不能通过令偏导为0求解？均方损失非凸
    在这里插入图片描述

3.7类别不平衡

  • 小类比大类重要时候，类别不平衡问题中何时需要做特殊处理
    在这里插入图片描述

  • 解决类别不平衡问题：1过采样：将原来小类别的样本变大，和原来的大样本平衡；2欠采样：将原来大类别的样本变小，和原来的小样本平衡；3阀值移动：SVM阀值移动
    在这里插入图片描述

第四章-决策树

4.1决策树基本流程

  • 三种停止条件：
  • (1)当前结点包含的样本全属于同一类别，无需划分;就是决策树只有一个结点；
  • (2)当前属性集为空,或是所有样本在所有属性上取值相同，无法划分;就是属性值太多相同；
  • (3)当前结点包含的样本集合为空，不能划分.就是决策树预测出来的属性。
    在这里插入图片描述

4.2信息增益划分

  • 信息增益：划分前的信息熵-划分后的信息熵
    在这里插入图片描述
  • 西瓜书的例子
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  • 最后以最大的纹理为划分的结点。
    在这里插入图片描述

4.3其他属性划分准则

  • 信息增益率；起到了规范化的作用；教材p76
    在这里插入图片描述

4.4决策树的剪枝

  • 预剪枝：提前终止某些分支的增长
  • 后剪枝：生成一颗完全树，再“回头”剪枝
    在这里插入图片描述

4.5缺失值的处理

  • 对于属性值的缺失：基本思路就是，样本赋权，权重划分
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

第五章-支持向量机

5.1支持向量机基本型

在这里插入图片描述

在这里插入图片描述

5.2对偶问题与解的特性

在这里插入图片描述

在这里插入图片描述

5.3求解方法

在这里插入图片描述

在这里插入图片描述

5.4特征空间映射

在这里插入图片描述

5.5核函数

  • 核函数：1距离矩阵2半正定
    在这里插入图片描述
    在这里插入图片描述

5.6如何使用SVM？

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

第六章-神经网络

6.1神经网络模型

在这里插入图片描述
在这里插入图片描述

6.2万有逼近能力

在这里插入图片描述

6.3BP算法推导

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

第七章-贝叶斯分类器

7.1贝叶斯决策论

在这里插入图片描述

7.2生成式和判别式模型

在这里插入图片描述

7.3贝叶斯分类器与贝叶斯学习

  • 贝叶斯主义认为，分布的参数是分布。
  • 统计学习属于频率主义。

7.4极大似然估计

在这里插入图片描述

7.5朴素贝叶斯分类器

  • 注意：对连属性，计算条件概率可考虑概率密度函数
    在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

第八章-继承学习和聚类

8.1集成学习

  • Ensemble learning:多个学习器集成。

8.2好而不同

在这里插入图片描述

  • E是集成学习的错误；E-是每个个体错误的平均，就是平均性能；A-就是每个个体之间的差异度。希望E-小，每个个体A-之间的差异要大，就是diversity。
  • 误差-分歧分解表明集成学习中多样性是关键。
    在这里插入图片描述

8.3两类常用集成学习方法

  • 串行和并行化算法
    在这里插入图片描述

8.4Boosting

  • alignment配准
  • Boosting流程:对错误样本进行加权,最后进行求和。
  • Boosting是一种同质集成学习方法。
    在这里插入图片描述

8.5Bagging

  • 投票做分类，平均做回归；
  • 注意：Bagging算法使用的采样方法是有放回采样。
    在这里插入图片描述

8.6多样性度量

  • 多样性度量
    在这里插入图片描述

  • 现有的76种多样性度量
    在这里插入图片描述

  • diversity和E的关系
    在这里插入图片描述

8.7聚类

  • 无监督学习除了聚类，还有密度估计；有监督：回归，分类。
    在这里插入图片描述

  • 聚类也可以做分类的预处理。
    在这里插入图片描述

8.8聚类方法概述

  • 一些新算法的比较容易诞生
    在这里插入图片描述

  • 常见的聚类算法
    在这里插入图片描述

  • 什么是层次聚类，AGNES；越下层，越粒化；
    在这里插入图片描述

  • 原型聚类都可以看成高斯聚类的特例，比较适合处理椭球结构

  • 密度聚类比较适合与香肠型聚类
    在这里插入图片描述

林大帅6688
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
机器学习个人学习笔记
09-30
斯坦福大学机器学习个人笔记完整版，非常适合初学者入门
浅谈Logistic回归及过拟合
weixin_34191734的博客
06-13 2793
　　判断学习速率是否合适？每步都下降即可。这篇先不整理吧... 　　这节学习的是逻辑回归（Logistic Regression），也算进入了比较正统的机器学习算法。啥叫正统呢？我概念里面机器学习算法一般是这样一个步骤： 　　1）对于一个问题，我们用数学语言来描述它，然后建立一个模型，例如回归模型或者分类模型等来描述这个问题； 　　2）通过最大似然、最大后验概率或者最小化分类误差等等建立模型...
西瓜书习题 - 3.线性模型
热门推荐
wdn blog
10-25 1万+
西瓜书第三章线性模型习题
西瓜书学习笔记第一章
Tankcheng的博客
01-17 583
西瓜书学习笔记 开始学习时间：2020/1/14 作者： 谭楷城 第一章：绪论 1.1 引言 什么是机器学习？ 我们能做出有效的判断，是因为我们已经积累了许多经验，而通过对经验的利用，就能对新的情况做出有效的决策。 机器学习便是从数据中产生经验。 从数据中产生“模型(model)的算法，即学习算法(learning algorithm)。”通过学习算法，我们提供经验数据给它，则它就能基于这些...
对数几率回归(逻辑斯蒂回归)
tengyuan93的博客
02-08 1605
对数几率回归(逻辑斯蒂回归) @(机器学习经典算法总结) 逻辑回归基本是我们所有人学习的第一个分类器，分类器从概率意义上理解，代表的是什么意思，以最简单的二分类来举例吧，假设样本数据 D=(x(i),y(i)),&nbsp;i&nbsp;for&nbsp;1,2,3,...y(i)∈(−1,+1)D=(x(i),y(i)),&nbsp;i&nbsp;for&nbsp;1,2,3,...y...
吴恩达机器学习第二章笔记
04-20
初步了解机器学习中监督学习和无监督学习的内容，和简单介绍监督学习的两个算法：回归与分类，无监督学习的三种算法：聚类、降维、异常检测。
计算机视觉与机器学习的入门级笔记
01-20
计算机视觉与机器学习的入门级笔记，较为初步地提炼出了计算机视觉与机器学习的入门级框架体系结构。（适合配合Stanford计算机视觉公开课使用）
斯坦福机器学习ML公开课笔记1-15（完整版、带目录索引和NG原版讲义）
11-07
公开课笔记6——NB多项式模型、神经网络、SVM初步 公开课笔记7——最优间隔分类、原始/对偶问题、SVM对偶 公开课笔记8———核技法、软间隔分类器、SMO算法 公开课笔记9—偏差/方差、经验风险最小化、联合界、一致...
“深度学习Python”的Jupyter笔记本示例代码-python
06-18
Jupyter notebooks for the code samples of the book "Deep Learning with Python" “使用 Python 进行深度学习”一书的配套 Jupyter 笔记本 此存储库包含 Jupyter 笔记本，实现了使用 Python 进行深度学习...
机器学习笔记——无监督学习下的k均值聚类
star_and_sun的博客
06-18 196
贝叶斯公式何贝叶斯网络模型的简单运用。只使用条件独立的假设何计数方法，统计变量的先验分布，再有贝叶斯反推参数的后验分布。同时假设每个样本类别y何特征变量x相互独立。原理：首先随机选择k何点作为中心，然后计算每一个点到中心的聚类，然后计算到每个中心的距离，选择到中心最短距离的那个中心所在的类进行归类，然后更新中心点，一直重复。由依赖关系构成的有向图，称为贝叶斯网络。主要是实现降为，选择重要的成分。变量和变量之间的关联是双向的。
【机器学习】使用Perceiver模型解决Transformer效率低下问题
MUKAMO的博客
06-18 527
Perceiver模型以其独特的架构，有效解决了高维输入数据的处理难题。通过引入Latent Bottleneck和非对称注意力机制，它显著降低了计算复杂度，同时保持了高性能。展望未来，Perceiver模型在多模态学习、大规模数据集应用、模型压缩和加速、跨领域适应性、模型解释性以及持续优化等方面具有巨大潜力。我们期待其能在更多领域发挥作用，推动AI技术的进一步发展。随着技术的不断进步，Perceiver模型有望展现出更广阔的应用前景。
如何系统学习机器学习？
HUANGXIN9898的博客
06-24 629
而机器学习要做的事情也差不多，在面对一个新问题的时候，机器从已有的历史数据总结出一个规律，套用在新问题上，进而解决这个问题。算法可以理解为一个优化的过程，最终确定最优模型。翻译过来是：“一个电脑程序要完成任务（T），如果电脑获取的关于T的经验（E）越多就表现（P）得越好，那么我们就可以说这个程序‘学习’了关于T的经验。3.训练模型：对经过预处理后的数据进行模型训练，结合自己的目的（分类、回归、聚类等）选择合适的训练方式。，通过找到最好的参数可以让模型的性能提高一大截，有传统的手工调参、网格搜索、随机搜索、
游戏AI的创造思路-技术基础-机器学习（1）
warghostwu的博客
06-21 643
机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。机器学习是对能通过经验自动改进的计算机算法的研究。机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。定义：半监督学习是一种结合有标记数据和无标记数据进行学习的方法，旨在通过同时利用这两种类型的数据来提高模型的准确性和泛化能力。基本思想：在训练过程中，半监督学习算法不仅依赖于标记数据提供的明确指导，还利用未标记数据中的潜在结构和信息来增强模型的学习效果。
时序预测 | MATLAB实现LSTM时间序列未来多步预测-递归预测
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
06-24 36
时序预测 | MATLAB实现LSTM时间序列未来多步预测-递归预测
时间序列预测入门：用sklearn打造你的机器学习解决方案
2401_85760095的博客
06-21 197
scikit-learn（sklearn）本身是一个通用的机器学习库，并不专门针对时间序列分析。时间序列分析通常涉及对时间索引数据的处理，这可能包括趋势分析、季节性分解、自相关性分析等，这些通常不是sklearn的强项。然而，sklearn中的某些工具和算法可以用于时间序列预测，尤其是当时间序列可以被视为一种监督学习问题时。
【机器学习】基于Gumbel Top-k松弛技术的图形采样
MUKAMO的博客
06-24 370
本文主要探讨了深度学习中的可微分子集采样，特别是Gumbel Top-k松弛技术。该技术可在保持模型可微性的同时从候选元素中选择重要子集。通过SubsetOperator类和Gumbel分布实现连续的Top-k选择，并将其应用于k最近邻分类问题。实验使用PyTorch框架，在MNIST数据集上验证方法的有效性，经过20周期训练，模型达到约99.3%的测试准确率。
【机器学习300问】129、RNN如何在情感分析任务中起作用的？
qq_39780701的博客
06-21 523
情感分析任务案例：分析电商产品评论的情感倾向，简单情感分类模型存在的不足，使用RNN进行情感分析。
热门开源项目推荐--机器学习TensorFlow
最新发布
借雨醉东风的博客
06-25 503
推荐谷歌开发的一个开源机器学习库TensorFlow 2.x。
【机器学习】机器学习重要方法—— 半监督学习：理论、算法与实践
Easonmax的博客
06-20 2271
半监督学习是一种介于监督学习和无监督学习之间的方法，通过同时利用有标签和无标签数据进行训练。在许多实际应用中，获取大量有标签数据的成本高昂，而无标签数据通常比较丰富。半监督学习方法能够在这样的环境中有效发挥作用。
机器学习 --- AGNES
03-28
机器学习是一种人工智能的分支，它通过使用统计学和算法来使计算机系统具备自我学习的能力，从而能够从数据中提取模式和知识，并根据这些知识做出预测和决策。机器学习可以分为监督学习、无监督学习和强化学习三种...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值