李沐深度学习引言笔记

flex_university

已于 2024-04-16 16:58:10 修改

阅读量783

点赞数 11

分类专栏：李沐课程学习笔记文章标签：深度学习笔记人工智能

于 2024-04-14 15:04:04 首次发布

本文链接：https://blog.csdn.net/flex_university/article/details/137739017

版权

李沐课程学习笔记专栏收录该内容

2 篇文章 0 订阅

订阅专栏

引言

符号含义

点乘与叉乘
标量、向量、张量

张量（tensor），在机器学习领域指代张量类（MXNet中为ndarray，在PyTorch和TensorFlow中为Tensor）与numpy的ndarray相似，但比numpy多的功能是：支持GPU加速计算。支持自动微分。

指示函数

参考知乎文章

机器学习的关键组件

用于学习的数据data
转换数据的模型model
衡量模型优劣的目标函数objective function，有时被称为损失函数（loss function），或（cost function）
改进模型的调参优化算法（algorithm）

专业术语

样本（example, sample）= 数据点（data point）= 数据实例（data instance）：数据由一个个样本构成
独立同分布(independently and identically distributed, i.i.d.)：一般样本会遵循的性质
每个样本由一组称为特征（features），或协变量（covariates）的属性组成
要分析的属性，称为标签（label），或目标（target）
当每个样本的特征类别数量都是相同的时候，其特征向量是固定长度的，这个长度被称为数据的维数（dimensionality）
训练集（training set）与测试集（test dataset）
过拟合（overfitting）：一个模型在训练集上表现良好，但不能推广到测试集
深度学习中，大多流行的优化算法通常基于一种基本方法–梯度下降（gradient descent）

各种机器学习问题概览

1.监督学习（supervised learning）

从已知大量数据样本中随机选取一个子集，为每个样本获取真实标签。有时，这些样本已有标签（例如，患者是否在下一年内康复？）；有时，这些样本可能需要被人工标记（例如，图像分类）。这些输入和相应的标签一起构成了训练数据集；
选择有监督的学习算法，它将训练数据集作为输入，并输出一个“已完成学习的模型”；
将之前没有见过的样本特征放到这个“已完成学习的模型”中，使用模型的输出作为相应标签的预测。

1.1 回归（regression）
1.2 分类（classification）
1.3 多标签分类（multi‐label classification）

学习预测不相互排斥的类别的问题

1.4 搜索
1.5 推荐系统
1.6 序列学习

模型记住输入的内容。语音识别，翻译，文字转语音等

2、无监督学习（unsupervised learning）

//数据中不含有目标/标签//

2.1 聚类（clustering）问题

没有标签的情况下进行分类

2.2 主成分分析（principal component analysis）问题
2.3 因果关系（causality）和概率图模型（probabilistic graphical models）问题

能否根据经验数据发现特征间关系

2.4 生成对抗性网络（generative adversarial networks）

合成数据的方法，生成器网络通过学习训练数据的分布，生成新的数据。而判别器网络则尝试区分生成器生成的数据和真实的训练数据。在训练过程中，两个网络相互对抗，生成器网络试图欺骗判别器网络，使其无法准确地区分生成的数据和真实的训练数据，而判别器网络则试图正确地识别哪些数据是真实的。通过不断地迭代训练，生成器网络逐渐学习到如何生成更逼真的数据，而判别器网络则逐渐变得更加准确。最终，生成器网络可以生成与训练数据相似的新数据，这些数据可以用于图像生成、视频生成、自然语言处理等领域。

3、强化学习

//与环境互动//

“在强化学习问题中，智能体（agent）在一系列的时间步骤上与环境交互。在每个特定时间点，智能体从环境接收一些观察（observation），并且必须选择一个动作（action），然后通过某种机制（有时称为执行器）将其传输回环境，最后智能体从环境中获得奖励（reward）。此后新一轮循环开始，智能体接收后续观察，并选择后续操作，依此类推。请注意，强化学习的目标是产生一个好的策略（policy）。强化学习智能体选择的“动作”受策略控制，即一个从环境观察映射到行动的功能。”

监督学习问题其实可以转化为强化学习问题。