机器学习的简介

最新推荐文章于 2024-10-14 14:35:06 发布

tkuris

最新推荐文章于 2024-10-14 14:35:06 发布

阅读量1k

点赞数 27

文章标签：机器学习人工智能笔记

本文链接：https://blog.csdn.net/tkuris/article/details/135898329

版权

深度学习的开始专栏收录该内容

1 篇文章 0 订阅

订阅专栏

机器学习的初见

举例：创建一个类似Siri一样的程序，让其做到响应⼀个“唤醒词”

一、主要部分

主要组成部分：数据集（dataset），参数（parameter），模型（model）。

数据集：包含很多的样本（音频），并且对是否包含唤醒词进行标记
参数：调整程序行为的变量
模型：调整参数之后的模型
模型族：通过操作参数而⽣成的所有不同程序（输⼊-输出映射）的集合
学习算法（learning algorithm）：使⽤数据集来选择参数的元程序的过程

总结：学习是⼀个训练模型的过程。通过这个过程，我们可以发现正确的参数集，从而使模型强制执⾏所需的⾏为。

二、训练过程和组件

训练过程通常分为几步：

随机初始化参数
获取数据样本
调整参数
重复2、3两步，知道参数合适

在这里插入图片描述

所以说我们不是直接编写程序而是编写一个“学习”的程序。

这种通过数据确定程序行为的方法叫“用数据编程”

关键组件

可以用来学习的数据（data）
转换数据的模型（model）
量化模型有效性的目标函数（objective function）
调整参数来优化目标函数的算法（algorithm）

1、数据

构成

每个数据集都由很多的样本（example，sample）组成（也叫数据点（data point）或者数据实例（data instan）），大多时候它们遵循独立同分布。通常每个样本都由一组叫做特征（features）的属性组成（也叫做协变量（covariates））。在上方学习的问题中，要预测的是一个特殊的属性，被称为标签（label）或者目标（target）。样本的类别数量相同时，其特征向量是固定长度，这个长度称为数据的维度（dimensionality），它有助于量化学习大量样本。

在这里插入图片描述

在互联网的影响下，数据的维度变得更加多元化，与传统机器学习方法相比，深度学习的一个主要优势就是可以处理不同长度的数据。

需求

数量充足（海量）
正确（特征可以预测目标）
均衡（多样性）
代表性（不能存在偏见）

反例：
正确：语音识别系统的数据，但是用了图片
均衡：健康预警系统，但是只用了浙江人的数据
代表性：简历筛选模型，但是使用的过去招聘数据存在对性别的偏见。

2、模型

大多数机器学习都会涉及到数据的转换。比如“猫狗照片识别系统”等。简单的模型可以解决简单的问题，但是一些复杂的问题无法被经典方法解决。深度学习与经典⽅法的区别主要在于：前者关注的功能强⼤的模型，这些模型由神经⽹络错综复杂的交织在⼀起，包含层层数据转换，因此被称为深度学习（deep learning）。

3、目标函数

指一个可以定义模型优劣程度的度量，大多情况下可以被优化，并希望被优化到最低点，所以有时也称损失函数（loss function）。
PS：只是惯例，取反后优化到最高也行。
常见函数：

平方误差：预测数值常用，即预测值与实际值之差的平方。
最小化错误率：试图解决分类问题可用，即预测与实际情况不符样本的比例。

通常，损失函数是根据模型参数定义的，并取决于数据集。在⼀个数据集上，我们通过最小化总损失来学习模型参数的最佳值，这个数据集叫训练数据集（见上）。训练好之后还要由一个新的数据集进行测试，这个就叫做测试数据集（见上）。而当⼀个模型在训练集上表现良好，但不能推⼴到测试集时，我们说这个模型是**过拟合（overfitting）**的。

4、优化算法

当我们获得了⼀些数据源及其表⽰、⼀个模型和⼀个合适的损失函数，我们接下来就需要⼀种算法，它能够搜索出最佳参数，以最小化损失函数。深度学习中，⼤多流⾏的优化算法通常基于⼀种基本⽅法‒梯度下降（gradient descent）。简而⾔之，在每个步骤中，梯度下降法都会检查每个参数，看看如果你仅对该参数进⾏少量变动，训练集损失会朝哪个⽅向移动。然后，它在可以减少损失的⽅向上优化参数。