深度学习入门—绪论

最新推荐文章于 2023-11-30 01:42:32 发布

薛猫颚的腚

最新推荐文章于 2023-11-30 01:42:32 发布

阅读量451

点赞数

分类专栏：深度学习文章标签：深度学习机器学习人工智能 pytorch

本文链接：https://blog.csdn.net/weixin_44952817/article/details/121766383

版权

深度学习专栏收录该内容

6 篇文章 0 订阅

订阅专栏

前言

笔者研究生阶段需要用到深度学习的相关理论，但搜遍全网，没有找到适合初学小白快速入手的教程，著名的吴恩达老师的课程理论偏多而几乎没有代码实例，李沐老师的深度学习课程理论和实践相结合确实是不错的课程，但是需要有一定的基础，包括但不限于：线性代数，矩阵论，概率论，微积分，信息论等高等数学的课程以及某些代码基础，因为笔者数学基础也不甚牢固，因此就打算跟随李沐老师的教程，边看边学，遇到不懂的概念，理论，公式，将详细解读，遇到代码也将详细解剖分析，希望自己能够完全明白其中关窍，也能够有益于后人。

一些基础概念定义

核心组件

可以学习的数据（data）

转换数据的模型（model）

目标函数（objective function）

在机器学习中，我们需要定义模型的优劣程度的度量，这个度量大多数情况下是可优化的，我们称为目标函数。我们通常定义一个目标函数，并希望优化它的最低点。因为越低越好，所有有些函数有时被称为损失函数（loss function）
通常，损失函数是根据参数定义的，并取决于数据集。在一个数据集上，我们通过最小化总损失来学习模型参数的最佳值。这个数据集由一些为了训练而收集的样本组成，称为训练数据集（training dataset）。然而，在训练数据上表现良好的模型，并不一定在新的数据集上有一样的表现，这里的新数据集通常称为测试数据集（test dataset）。

优化算法（algorithm）

一旦我们获得了一些数据源及其表示、一个模型和一个合适的损失函数，我们接下来就需要一种算法，它能够搜索出最佳参数，以最小化损失函数。深度学习中，大多流行的优化算法通常基于一种基本方法–梯度下降（gradient descent）。简而言之，在每个步骤中，梯度下降法都会检查每个参数，看看如果你仅对该参数进行少量变动，训练集损失会朝哪个方向移动。然后，它在可以减少损失的方向上优化参数。

各种机器学习问题简介

监督学习

监督学习supervised learning，这类学习擅长在“给定输入特征”的情况下预测标签。每个“特征-标签”对都称为一个样本example。有时，即使标签是未知的，样本也可以指代输入特征。
我们的目标是生成一个模型，能够将任何输入特征映射到标签，即预测。可以分为下述几类。

回归问题

举例说明：我们有一组房屋销售数据表格，其中有一些属性，例如房屋面积，卧室数量，浴室数量等等，当然还有最终的价格。
我们可以通过对这组数据的训练，最后得到一个模型，只要我们能够得到其面积，卧室数量，浴室数量，就能预测出它的价格。

分类问题

例如我们有一组手写的图片，其中由字母数字组成，我们可以有26+10个分类来识别字母数字，我们训练一个分类器，当我们输入一副图片时，我们能够通过模型得到其中的内容。

标记问题

考虑一个新的问题，当我们训练了一个分类模型，这个模型能够很轻松的把已知的动物进行分类，它能够准确地知道这是猫，是狗还是一头牛，但是当出现了一个新的物种，例如一头牛骑着一匹马，它就不能认出。
学习预测不相互排斥的类别的问题称为多标签分类（multi-label classification）。举个例子，人们在技术博客上贴的标签，比如“机器学习”、“技术”、“小工具”、“编程语言”、“Linux”、“云计算”、“AWS”。一篇典型的文章可能会用5-10个标签，因为这些概念是相互关联的。关于“云计算”的帖子可能会提到“AWS”，而关于“机器学习”的帖子也可能涉及“编程语言”。

搜索

这并不是简单的搜索，我们希望对一组项目进行排序。比如我们搜索“深度学习”，得到一串网页排序，搜索引擎是如何知道最佳排序的呢？他如何知道最符合我们需求的是 A B C D E而不是E D C B A。

序列学习

在医学上序列输入和输出就更为重要。设想一下，假设我们用一个模型来监控重症监护病人，如果他们在未来24小时内死亡的风险超过某个阈值，这个模型就会发出警报。我们绝不希望抛弃过去每小时有关病人病史的所有信息，而仅根据最近的测量结果做出预测。
这些问题是序列学习的实例，是机器学习最令人兴奋的应用之一。序列学习需要摄取输入序列或预测输出序列，或两者兼而有之。具体来说，输入和输出都是可变长度的序列，

无监督学习

聚类（clustering）问题：

没有标签的情况下，我们是否能给数据分类呢？比如，给定一组照片，我们能把它们分成风景照片、狗、婴儿、猫和山峰的照片吗？同样，给定一组用户的网页浏览记录，我们能否将具有相似行为的用户聚类呢？

主成分分析（principal component analysis）问题：

我们能否找到少量的参数来准确地捕捉数据的线性相关属性？比如，一个球的运动轨迹可以用球的速度、直径和质量来描述。再比如，裁缝们已经开发出了一小部分参数，这些参数相当准确地描述了人体的形状，以适应衣服的需要。另一个例子：在欧几里得空间中是否存在一种（任意结构的）对象的表示，使其符号属性能够很好地匹配?这可以用来描述实体及其关系，例如“罗马” − “意大利” + “法国” = “巴黎”。

因果关系（causality）和概率图模型（probabilistic graphical models）问题：

我们能否描述观察到的许多数据的根本原因？例如，如果我们有关于房价、污染、犯罪、地理位置、教育和工资的人口统计数据，我们能否简单地根据经验数据发现它们之间的关系？

生成对抗性网络（generative adversarial networks）：

为我们提供一种合成数据的方法，甚至像图像和音频这样复杂的结构化数据。潜在的统计机制是检查真实和虚假数据是否相同的测试，它是无监督学习的另一个重要而令人兴奋的领域。

与环境互动

简单的离线学习有它的魅力。好的一面是，我们可以孤立地进行模式识别，而不必分心于其他问题。但缺点是，解决的问题相当有限。如果你更有雄心壮志，那么你可能会期望人工智能不仅能够做出预测，而且能够与真实环境互动。与预测不同，“与真实环境互动”实际上会影响环境。这里的人工智能是“智能代理”，而不仅是“预测模型”。因此，我们必须考虑到它的行为可能会影响未来的观察结果。

强化学习

在强化学习问题中，agent在一系列的时间步骤上与环境交互。在每个特定时间点，agent从环境接收一些观察（observation），并且必须选择一个动作（action），然后通过某种机制（有时称为执行器）将其传输回环境，最后agent从环境中获得奖励（reward）。此后新一轮循环开始，agent接收后续观察，并选择后续操作，依此类推。强化学习的过程在图1.3.7 中进行了说明。请注意，强化学习的目标是产生一个好的策略（policy）。强化学习agent选择的“动作”受策略控制，即一个从环境观察映射到行动的功能。