机器学习初步-笔记

已于 2022-10-30 16:29:47 修改
阅读量501 收藏 6
点赞数
文章标签： 机器学习 人工智能 python
于 2022-10-27 21:07:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41732253/article/details/127514596
版权

机器学习初步-笔记

第一章-绪论

1.1教材

在这里插入图片描述

1.2课程定位

  • 搞清楚是什么为什么这么做

1.3机器学习

  • 利用经验改善系统自身的性能，目前主要研究智能数据分析的理论和方法

1.4典型的机器学习过程

  • “好瓜、坏瓜”是一个西瓜样例的类别标记
    在这里插入图片描述

1.5计算学习理论

  • x是输入数据，f是模型；y是预测值|f(x)-y|<=ε，P(|f(x)-y|)>=1-δ,δ绝对小并且1-δ接近1，表示概率P的值绝对准；PAC概率近似正确。
    在这里插入图片描述

1.6基本术语

  • 输出结果不知道就是无监督学习。泛化：学到的数据，再处理新数据的能力，就是指ε 到底可以达到多少。
  • 示例:一行样本的各个属性值(特征值)
  • 样例:好瓜
  • 假设:学到的模型f(x)
    在这里插入图片描述

1.7归纳偏好

  • 偏置，对某种东西有特殊的喜好，若非必要，勿增实体
  • 奥卡姆剃刀 原则：若有多个假设与观察一致，则选最简单的那个

1.8NFL定理

在这里插入图片描述

第二章-模型评估与选择

2.1泛化能力

  • 错误率低，精度高；对新的数据的处理能力强。

2.2过拟合和欠拟合

  • 泛化误差:在“未来”样本上的误差
  • 经验误差:在训练集.上的误差，亦称“训练误差”
  • 过拟合：就是训练集训练过度，新的样本预测能力差
  • 欠拟合：就是训练集训练不好，新的样本预测能力也差

2.3三大问题

  • 如何获得测试结果?评估方法
  • 如何评估性能优劣?性能度量
  • 如何判断实质差别?比较检验

2.4评估方法

  • 如何将测试集和验证集分割；注意原始数据集应该互斥

留出法(hold-out)

  • 保持数据分布一致性( 例如:分层采样)
  • 多次重复划分(例如: 100次随机划分)
  • 测试集不能太大、不能太小(例如: 1/5~1/3) .
  • 存在缺点：不能每个样本都测试到，会遗漏样本

交叉验证法(cross validation)

  • k-折交叉验证
    在这里插入图片描述
  • 存在缺点：如果男女性别的测试，测试精度就会不准

自助法(bootstrap)：有放回采样

在这里插入图片描述

2.5调参与验证集

在这里插入图片描述

2.6性能度量

  • 均方误差
    在这里插入图片描述
  • 错误率和精度
    在这里插入图片描述
  • 查准率和查全率。查全率：收购西瓜的公司希望把瓜摊的好瓜都尽量收走。
    在这里插入图片描述

在这里插入图片描述

2.7比较检验

在这里插入图片描述

第三章-线性模型

3.1线性回归

  • w，b求出最优解
    在这里插入图片描述

  • 序关系：高1.0 中0.8 低0.5

  • 一些青色，浑浊，沉闷变成onehot编码[0 1 0]代表浑浊这样。

△3.2最小二乘解-已经手写推导

  • 最小二乘法：基于均方误差最小化来进行模型求解的方法称为
  • 偏导求极大值和极小值，找它的变化率
    在这里插入图片描述

3.3多元线性回归

  • 归纳偏好-正则化
    在这里插入图片描述

3.4广义线性模型

  • 逼近对数线性回归
    在这里插入图片描述

  • 联系函数
    在这里插入图片描述

3.5对率回归

  • 几率
    在这里插入图片描述

  • 对率回归；是分类学习算法
    在这里插入图片描述

△3.6对率回归求解

  • 对数几率回归为什么不能通过令偏导为0求解？均方损失非凸
    在这里插入图片描述

3.7类别不平衡

  • 小类比大类重要时候，类别不平衡问题中何时需要做特殊处理
    在这里插入图片描述

  • 解决类别不平衡问题：1过采样：将原来小类别的样本变大，和原来的大样本平衡；2欠采样：将原来大类别的样本变小，和原来的小样本平衡；3阀值移动：SVM阀值移动
    在这里插入图片描述

第四章-决策树

4.1决策树基本流程

  • 三种停止条件：
  • (1)当前结点包含的样本全属于同一类别，无需划分;就是决策树只有一个结点；
  • (2)当前属性集为空,或是所有样本在所有属性上取值相同，无法划分;就是属性值太多相同；
  • (3)当前结点包含的样本集合为空，不能划分.就是决策树预测出来的属性。
    在这里插入图片描述

4.2信息增益划分

  • 信息增益：划分前的信息熵-划分后的信息熵
    在这里插入图片描述
  • 西瓜书的例子
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  • 最后以最大的纹理为划分的结点。
    在这里插入图片描述

4.3其他属性划分准则

  • 信息增益率；起到了规范化的作用；教材p76
    在这里插入图片描述

4.4决策树的剪枝

  • 预剪枝：提前终止某些分支的增长
  • 后剪枝：生成一颗完全树，再“回头”剪枝
    在这里插入图片描述

4.5缺失值的处理

  • 对于属性值的缺失：基本思路就是，样本赋权，权重划分
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

第五章-支持向量机

5.1支持向量机基本型

在这里插入图片描述

在这里插入图片描述

5.2对偶问题与解的特性

在这里插入图片描述

在这里插入图片描述

5.3求解方法

在这里插入图片描述

在这里插入图片描述

5.4特征空间映射

在这里插入图片描述

5.5核函数

  • 核函数：1距离矩阵2半正定
    在这里插入图片描述
    在这里插入图片描述

5.6如何使用SVM？

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

第六章-神经网络

6.1神经网络模型

在这里插入图片描述
在这里插入图片描述

6.2万有逼近能力

在这里插入图片描述

6.3BP算法推导

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

第七章-贝叶斯分类器

7.1贝叶斯决策论

在这里插入图片描述

7.2生成式和判别式模型

在这里插入图片描述

7.3贝叶斯分类器与贝叶斯学习

  • 贝叶斯主义认为，分布的参数是分布。
  • 统计学习属于频率主义。

7.4极大似然估计

在这里插入图片描述

7.5朴素贝叶斯分类器

  • 注意：对连属性，计算条件概率可考虑概率密度函数
    在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

第八章-继承学习和聚类

8.1集成学习

  • Ensemble learning:多个学习器集成。

8.2好而不同

在这里插入图片描述

  • E是集成学习的错误；E-是每个个体错误的平均，就是平均性能；A-就是每个个体之间的差异度。希望E-小，每个个体A-之间的差异要大，就是diversity。
  • 误差-分歧分解表明集成学习中多样性是关键。
    在这里插入图片描述

8.3两类常用集成学习方法

  • 串行和并行化算法
    在这里插入图片描述

8.4Boosting

  • alignment配准
  • Boosting流程:对错误样本进行加权,最后进行求和。
  • Boosting是一种同质集成学习方法。
    在这里插入图片描述

8.5Bagging

  • 投票做分类，平均做回归；
  • 注意：Bagging算法使用的采样方法是有放回采样。
    在这里插入图片描述

8.6多样性度量

  • 多样性度量
    在这里插入图片描述

  • 现有的76种多样性度量
    在这里插入图片描述

  • diversity和E的关系
    在这里插入图片描述

8.7聚类

  • 无监督学习除了聚类，还有密度估计；有监督：回归，分类。
    在这里插入图片描述

  • 聚类也可以做分类的预处理。
    在这里插入图片描述

8.8聚类方法概述

  • 一些新算法的比较容易诞生
    在这里插入图片描述

  • 常见的聚类算法
    在这里插入图片描述

  • 什么是层次聚类，AGNES；越下层，越粒化；
    在这里插入图片描述

  • 原型聚类都可以看成高斯聚类的特例，比较适合处理椭球结构

  • 密度聚类比较适合与香肠型聚类
    在这里插入图片描述

林大帅6688
关注
机器学习个人学习笔记
09-30
斯坦福大学机器学习个人笔记完整版，非常适合初学者入门
浅谈Logistic回归及过拟合
weixin_34191734的博客
06-13 2865
　　判断学习速率是否合适？每步都下降即可。这篇先不整理吧... 　　这节学习的是逻辑回归（Logistic Regression），也算进入了比较正统的机器学习算法。啥叫正统呢？我概念里面机器学习算法一般是这样一个步骤： 　　1）对于一个问题，我们用数学语言来描述它，然后建立一个模型，例如回归模型或者分类模型等来描述这个问题； 　　2）通过最大似然、最大后验概率或者最小化分类误差等等建立模型...
西瓜书习题 - 3.线性模型
热门推荐
wdn blog
10-25 1万+
西瓜书第三章线性模型习题
西瓜书学习笔记第一章
Tankcheng的博客
01-17 627
西瓜书学习笔记 开始学习时间：2020/1/14 作者： 谭楷城 第一章：绪论 1.1 引言 什么是机器学习？ 我们能做出有效的判断，是因为我们已经积累了许多经验，而通过对经验的利用，就能对新的情况做出有效的决策。 机器学习便是从数据中产生经验。 从数据中产生“模型(model)的算法，即学习算法(learning algorithm)。”通过学习算法，我们提供经验数据给它，则它就能基于这些...
对数几率回归(逻辑斯蒂回归)
tengyuan93的博客
02-08 1674
对数几率回归(逻辑斯蒂回归) @(机器学习经典算法总结) 逻辑回归基本是我们所有人学习的第一个分类器，分类器从概率意义上理解，代表的是什么意思，以最简单的二分类来举例吧，假设样本数据 D=(x(i),y(i)),&nbsp;i&nbsp;for&nbsp;1,2,3,...y(i)∈(−1,+1)D=(x(i),y(i)),&nbsp;i&nbsp;for&nbsp;1,2,3,...y...
吴恩达机器学习笔记pdf格式
05-19
《吴恩达机器学习笔记》是一份详尽的教育资源，旨在帮助学习者深入理解机器学习这一领域的核心概念和算法。吴恩达，作为人工智能和在线教育领域的先驱，以其深入浅出的教学风格闻名，他的机器学习课程在全球范围内广...
TensorFlow深度学习》--笔记版.pdf
04-06
尽管对这些数学知识的要求是初步印象或了解，但作者强调读者需要具备一定的编程经验，尤其是Python语言编程经验。本书对理工科本科生、研究生以及对人工智能算法有兴趣的朋友有很好的适用性。 全书共分为15章，被...
吴恩达机器学习第二章笔记
04-20
初步了解机器学习中监督学习和无监督学习的内容，和简单介绍监督学习的两个算法：回归与分类，无监督学习的三种算法：聚类、降维、异常检测。
Lucas带你手撕机器学习——决策树
Lucas在澳洲
10-25 751
决策树是一种基本的分类与回归方法，它通过树状结构对数据进行分类或预测。每个内部节点代表一个特征（属性），每个分支代表特征的一个可能值，而每个叶子节点代表一个分类或预测值。由于其直观和易于理解的特点，决策树广泛应用于机器学习、数据挖掘和决策分析等领域。决策树是一种强大且易于理解的机器学习模型，适用于分类和回归任务。通过选择最优特征进行划分，决策树能够有效地对数据进行建模。尽管决策树有许多优点，但在实际应用中也需要注意过拟合和不稳定性的问题，因此常常结合剪枝技术进行改进。
从零开始机器学习——基于PyTorch构建你的第一个线性回归模型
bjxiaxueliang的CODING技术小馆
10-24 974
随着人工智能技术的迅猛发展，机器学习成为了现代科技领域中最炙手可热的话题之一。然而，对于初学者来说，机器学习似乎总是充满了复杂的理论和难以理解的概念。本文将带你从零开始，使用PyTorch深度学习框架，构建一个最简单的线性回归模型，一步步揭开机器学习的神秘面纱。无需预先的专业背景知识，只需跟随本文的指导，你就能亲手实现一个可以预测数据的机器学习模型！
【机器学习基础】激活函数
weixin_41838721的博客
10-22 452
Sigmoid函数 观察导数图像 在我们深度学习里面，导数是为了求参数W和B，W和B是在我们模型model确定之后，找出一组最优的W和B，使我们那个模型输入的x，得出我们Y最近我们真实结果的一个Y 导数函数图像，往两边走的话，它的导数为零。如果这样的情况出现的话，出现梯度消失。我们希望它的导数是一个平稳值，不要大也不要小 值落在，无穷大的时候或者无穷小的时候，它的导数就接近于零，此时W和B就不能更新了，无法找到最优的W和B。你就是你不断找不找，每天也走一走个几米几米远，事实上W和B在几千米远之外
【果蔬识别】Python+卷积神经网络算法+深度学习+人工智能+机器学习+TensorFlow+计算机课设项目+算法模型
子午的博客
10-30 537
果蔬识别系统，本系统使用Python作为主要开发语言，通过收集了12种常见的水果和蔬菜（‘土豆’, ‘圣女果’, ‘大白菜’, ‘大葱’, ‘梨’, ‘胡萝卜’, ‘芒果’, ‘苹果’, ‘西红柿’, ‘韭菜’, ‘香蕉’, ‘黄瓜’），然后基于TensorFlow库搭建CNN卷积神经网络算法模型，然后对数据集进行训练，最后得到一个识别精度较高的算法模型，然后将其保存为h5格式的本地文件方便后期调用。再使用Django框架搭建Web网页平台操作界面，实现用户上传一张果蔬图片识别其名称。
【机器学习】图像识别——计算机视觉在工业自动化中的应用
2202_76097976的博客
10-19 2865
本文详细探讨了图像识别技术在工业自动化中的广泛应用，包括质量控制、物体检测与分拣、机器人视觉导航和安全监控等场景。图像识别依赖于深度学习模型，尤其是卷积神经网络（CNN），其中ResNet、YOLO和Faster R-CNN等模型各有其优势。ResNet适用于高精度检测，YOLO注重实时性，而Faster R-CNN则适合小物体的高精度识别。通过代码示例展示了如何在工业场景中应用YOLO进行物体检测。
【学术会议论文投稿】深度解码：机器学习与深度学习的界限与交融
来自想要赚大钱的小周同学
10-28 1722
机器学习：作为人工智能的一个重要分支，机器学习致力于让计算机通过数据和算法自动改进其性能，而无需进行显式的编程。这一概念最早可以追溯到20世纪50年代，随着算法和计算能力的不断演进，机器学习逐渐从理论走向实践，成为解决复杂问题的重要工具。深度学习：则是机器学习的一个子集，特指利用深度神经网络模型进行学习和预测的技术。深度学习的兴起主要得益于21世纪初大数据的爆发和计算能力的显著提升。通过构建多层的神经网络，深度学习能够自动从数据中学习并提取高层次的特征表示，从而在处理复杂任务时展现出强大的能力。
深入探索电能消耗数据：基于机器学习的分析与洞察
不迁怒，不贰过。小知识，大智慧。
10-25 848
本文旨在为读者提供一个全面的项目框架，涵盖从数据清洗到机器学习模型评估的各个环节。通过详细的步骤和示例代码，读者将能够更好地理解数据分析的流程，并在实际项目中应用这些知识。无论你是数据分析的初学者，还是希望提升技能的专业人士，这篇文章都将为你提供有价值的参考。   在接下来的内容中，我们将逐步深入每一个环节，帮助你掌握数据分析与机器学习的核心要素，最终实现从数据到洞察的转变。让我们一起踏上这段探索之旅，揭开数据背后的秘密。
机器学习初学者指南：Scikit-Learn基础到实战
最新发布
萧鼎的博客
10-30 858
Scikit-Learn是一个简单且高效的工具库，专为Python语言设计，提供了丰富的机器学习算法和工具。它适合于各种机器学习任务，包括分类、回归、聚类和降维等。
机器学习介绍
howard2005的专栏
10-27 367
机器学习是人工智能的一个分支，它使计算机能够通过数据和算法自我学习并改进。神经网络模拟人脑神经元，通过加强成功连接和减弱失败连接来学习。感知器是神经网络的基础，通过输入和权重决定输出。深度学习作为机器学习的子集，使用多层神经网络处理复杂数据，推动了人工智能的快速发展。
探讨Facebook的AI研究：未来社交平台的技术前瞻
LokiSan的博客
10-29 763
在数字时代，社交媒体已成为人们日常生活的重要组成部分。作为全球最大的社交网络之一，Facebook不断致力于人工智能（AI）的研究与应用，以提升用户体验、增强平台功能并推动技术创新。本文将探讨Facebook在AI领域的研究方向及其对未来社交平台的潜在影响。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值