机器学习基础

机器学习基础

机器学习概念

机器学习是什么

什么是学习

• 从人的学习开始
• 学习理论；从实践中总结
• 在理论上推导；在实践中检验
• 通过各种手段获取知识或技能的过程

机器如何学习

• 处理某个特定的任务，以大量的“经验”为基础
• 对任务完成的好坏，给予一定的评判标准
• 通过分析数据，任务完成得更好了

机器学习的开端

机器学习的定义

机器学习主要研究计算机系统对于特定任务的性能，逐步进行改善的算法和统计模型。

机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。
机器学习是对能通过经验自动改进的计算机算法的研究。
机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ybvYqCUS-1645528200631)(/Users/hujizhao/Documents/毕业设计文档/机器学习.png)]

机器学习主要分类

机器学习的主要分类

• 有监督学习：提供数据并提供数据对应的结果的机器学习的过程
• 无监督学习：提供数据且不提供数据对应的结果的机器学习的过程
• 强化学习：通过与环境交互并获取延迟返回进而改进行为的学习过程

无监督学习

• 无监督学习（Unsupervised Learning）算法采用一组仅包含输入的数据，通过寻找数据中的内在结构来进行样本点的分组和类聚。
• 算法从没有标记或者分类的测试数据中学习
• 无监督学习算法不是响应反馈，而是识别数据中的共性特征；对于一个新的数据，可以通过判断其是否存在这个特征来做出相应的反馈
• 无监督学习的核心应用市统计学中的密度估计和聚类分析

无监督学习的应用

谷歌新闻

有监督学习

• 监督学习（Supervised Learning）算法构建了包含输入和所需输出的一组数据的数学模型。这类数据成为训练数据，由一组训练样本组成。
• 监督学习包含分类和回归。
• 当输入被限制为一组有限的一组值（离散数值）时使用的是分类算法；当输出可以具有范围内的任何数值（连续数值）时使用的回归算法。
• 相似度学习是和回归和分类都密切相关的一类监督学习，他们的目标是是使用相似度函数从样本中学习，这个函数可以度量两个对象之间的相似度或关联度。

有监督学习的应用

预测房屋出租或出售情况

强化学习

监督学习深入理解

监督学习三要素

• 模型（model）：总结数据的内在规律，用数学函数描述的系统
• 策略（strategy）：选取最优模型的评判准则
• 算法（algorithm）：选取最优模型的具体方法

监督学习的实现步骤

得到一个有限的训练数据集

确定包含所有所有学习模型的集合

确定模型选择的准则，也就是学习策略

实现求解最优模型的算法，也就是学习算法

通过学习算法选择最优模型

利用得到的最优模型，对新数据进行预测或分析

监督学习模型评估策略

• 模型评估
  • 训练集和测试集
  • 损失函数和经验函数
  • 训练误差和测试误差
• 模型选择
  • 过拟合和欠拟合
  • 正则化和交叉验证

训练集和测试集：训练模型的数据称之为训练集，将用来测试模型的好坏的集合称为测试集

训练集：输入到模型中对模型进行训练的数据集合

测试集：模型训练完成后测试训练效果的数据集合

损失函数：损失函数用来衡量模型预测误差的大小。选取模型f为决策函数，对于给定的输入函数X，f（X）为预测结果，Y为真实结果；f（X）和Y之间可能有偏差，我们就用一个损失函数（Loss function）来度量预测函数的偏差程度，记做L（Y，f（X）），损失函数是系数的函数，损失函数数值越小，模型越小

• 0-1损失函数
• 平方损失函数
• 绝对损失函数
• 对数损失函数

经验风险

模型fx关于训练集的平均损失称为经验风险（empirical risk），记做R emp

经验风险最小化（Empirical Risk Minimization，ERM）

• 这一策略认为，经验风险最小的模型就是最优模型
• 样本足够大时，ERM有很好的学习效果，因为有足够多的经验
• 样本较小时，ERM就会出现一些问题

训练误差和测试误差

• 训练误差（training error）：是关于训练集的平均损失。
• 训练误差的大小：可以用来判断给定问题是否容易学习，但本质上并不重要
• 测试误差（testing error）：是关于测试集的平均损失
• 测试误差真正反映了模型对未知数据的预测能力，这种能力一般被称为泛化能力

过拟合和欠拟合

正则化

• 结构风险最小化（Structure Risk Minimization，SRM）

  • 在ERM的基础上，为了防止过拟合而提出来的策略
  • 在经验风险上加上表示模型复杂度的正则化项（regularizer），或者叫惩罚项
  • 正则化项一般是模型复杂度的单调递增函数，即模型越复杂，正则化值越大

• 结构风险最小化的典型是正则化（regularization）

奥卡姆剃刀原理：如无必要，无增实体

交叉验证

• 数据集划分
  • 如果样本数据充足，一种简单的方法是随机将数据切成三部分：训练集（training set）、数据集(validation set)、测试集(test set)
  • 训练集用于训练模型，验证集用于学习方法评估
• 数据不足的时候，可以重复的利用数据——交叉验证（cross validation）
  • 简单交叉验证
  • s折交叉验证
  • 留一交叉验证

分类和回归

监督学习的问题主要可以划分为两类，即分类问题和回归问题

• 分类问题预测数据属于哪一类别。——离散
• 回归问题根据数据预测一个数值。——连续

分类问题的指标评测：精确率和召回率

监督学习模型求解算法