01机器学习、深度学习入门 Datawhale X 李宏毅苹果书 AI夏令营

nuliniubi

已于 2024-09-03 23:31:52 修改

阅读量1k

点赞数 13

分类专栏：李宏毅老师ML\DL 文章标签：深度学习机器学习

于 2024-08-26 23:32:24 首次发布

本文链接：https://blog.csdn.net/nuliniubi/article/details/141575944

版权

李宏毅老师ML\DL 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

元概念

机器学习（Machine Learning，ML）

定义：机器学习是一门研究计算机如何自动改进其性能的学科。它关注于设计算法，使计算机能够在没有明确编程的情况下从数据中学习和做出预测或决策。
核心思想：通过让计算机从经验（数据）中学习，而不是显式编程，以解决复杂问题。
主要任务：
- 监督学习：包括回归和分类任务，其中模型从带有标签的训练数据中学习。
- 无监督学习：涉及聚类和降维等任务，其中模型试图发现数据中的结构而无需任何标签。
- 半监督学习：结合了少量带标签数据和大量无标签数据的学习。
- 强化学习：通过试错的方式学习最佳行为策略。
常见算法：
- 线性回归
- 逻辑回归
- 决策树
- 支持向量机
- 神经网络

深度学习（Deep Learning，DL）

定义：深度学习是机器学习的一个子领域，专注于使用多层神经网络（深度神经网络）来模拟和学习复杂的数据表示。
核心思想：通过堆叠多层非线性变换来自动提取数据中的高级抽象特征。
主要任务：
- 图像识别：如物体检测、图像分类等。
- 语音识别：转录和翻译语音信号。
- 自然语言处理：包括文本生成、情感分析等。
- 推荐系统：预测用户对物品的偏好。
常见架构：
- 卷积神经网络（CNNs）
- 循环神经网络（RNNs）
- 长短时记忆网络（LSTMs）
- Transformer
- 生成对抗网络（GANs）

回归(Regression)

定义: 预测一个或多个输入变量与一个连续的输出变量之间的函数关系，且要找的函数的输出是一个数值、标量（scalar），这种机器学习的任务称为回归
应用举例: 预测 PM2.5 数值、网页点击率
常见算法
- 线性回归
- 决策树回归
- 支持向量回归 (SVR)
- 神经网络回归
评估指标
- 均方误差 (MSE)
- 均方根误差 (RMSE)
- 平均绝对误差 (MAE)

分类(Classification)

定义: 让机器做选择题，预测离散类别输出的任务。人类先准备好一些选项即类别（class），要找的函数的输出就是从设定好的选项里面选择一个当作输出，该任务称为分类。
应用举例: 下围棋、
常见算法
- 逻辑回归
- 决策树分类
- 支持向量机 (SVM)
- K-近邻 (KNN)
- 神经网络分类
评估指标
- 准确率 (Accuracy)
- 精确度 (Precision)
- 召回率 (Recall)
- F1 分数
- ROC 曲线和 AUC 值
回归和分类相同点&区别
- 相同点
  1. 共同目标：都是试图预测未知数据的输出；都是监督学习的方法；都需要训练集来学习模型。
  2. 模型构建：许多算法可以同时用于回归和分类，如决策树和支持向量机。这些算法可以通过调整参数或输出层来适应不同类型的任务。
  3. 数据预处理：回归和分类任务通常都需要对数据进行相似的预处理步骤，如缺失值处理、特征缩放和特征工程。
  4. 交叉验证：为了评估模型性能，回归和分类都可以使用交叉验证技术。
- 区别
  1. 输出类型：
    - 回归：输出是连续值，如价格、温度等。
    - 分类：输出是离散类别，如“垃圾邮件”或“非垃圾邮件”。
  2. 模型输出：
    - 回归：模型输出通常是实际的数值。
    - 分类：模型输出可能是类别标签或每个类别的概率。
  3. 评估标准：
    - 回归：通常使用误差度量（如 MSE 或 RMSE）来评估性能。
    - 分类：通常使用准确率、精确度、召回率等指标来评估性能。
  4. 应用场景：
    - 回归：适用于需要预测具体数值的情况。
    - 分类：适用于需要对数据进行分类或标签化的情况。

结构化学习 (Structured Learning)

定义: 预测具复杂结构的输出(如序列、集合或图)。其组成结构是具有内在依赖关系的多个部分。
应用举例: 写文章、画图、机器翻译、图像分割
常见算法
- 条件随机场 (Conditional Random Fields, CRFs)
- 递归神经网络 (Recursive Neural Networks)
- 序列到序列模型 (Sequence-to-Sequence Models)
- 图神经网络 (Graph Neural Networks, GNNs)
评估指标
- 准确率 (Accuracy)
  - 对于序列预测任务，整体序列完全正确的比例。
- F1 分数 (F1 Score)
  - 特别适用于不平衡数据集，综合考虑了精确率和召回率。
- 编辑距离 (Edit Distance)
  - 度量两个序列之间的差异，常用于机器翻译和语音识别。
- 平均精度 (Mean Average Precision, mAP)
  - 特别适用于多标签分类和目标检测任务。
- 交并比 (Intersection over Union, IoU)
  - 在图像分割任务中用来衡量预测区域和真实区域的重合程度。

术语

模型、权重、偏置
超参数、学习率
鞍点、局部最小、全局最小值
激活函数（activation function）
模型偏差 VS 模型灵活性（flexibility）
交叉熵 (Cross Entropy)
- 定义: 量化模型预测的概率分布与实际标签的概率分布之间的差异
- 应用：机器学习第2步骤找Loss函数。如二分类、多分类。

交叉验证
- 训练集（training set）
- 验证集（validation set）
误差表面（error surface）
梯度下降（gradient descent）
批量（batch）、回合（epoch）
神经元、神经网络、隐藏层（hidden layer）、残差网络（Residual Network，ResNet）
反向传播（BackPropagation，BP）
全连接网络（fully-connected network）
卷积神经网络（Convolutional Neural Network，CNN

机器学习找函数3步骤

1. 结合具体背景大胆猜写一个带有参数的函数Fuction：f(x)
- 有专业知识就可以分析出谁是变量xi、谁是y；xi与y大概什么关系f
- 如果彻底黑盒、盲目猜呗，靠后面2步迭代回来修改就好
1. 确定损失函数(Loss)：L(b,w,θ3,θ4,…)
- 变量b,w,θ3,θ4,…是f(x)的参数
- 改变f(x)的参数，就可以求得误差、画出误差曲线
1. 确定最佳参数arg——找到最优函数f(x)
- 所以这步优化：梯度下降(Gradient Descent)
- 随即给定参数0
步骤图片
- 元概念

机器学习（Machine Learning，ML）

定义：机器学习是一门研究计算机如何自动改进其性能的学科。它关注于设计算法，使计算机能够在没有明确编程的情况下从数据中学习和做出预测或决策。
核心思想：通过让计算机从经验（数据）中学习，而不是显式编程，以解决复杂问题。
主要任务：
- 监督学习：包括回归和分类任务，其中模型从带有标签的训练数据中学习。
- 无监督学习：涉及聚类和降维等任务，其中模型试图发现数据中的结构而无需任何标签。
- 半监督学习：结合了少量带标签数据和大量无标签数据的学习。
- 强化学习：通过试错的方式学习最佳行为策略。
常见算法：
- 线性回归
- 逻辑回归
- 决策树
- 支持向量机
- 神经网络

深度学习（Deep Learning，DL）

定义：深度学习是机器学习的一个子领域，专注于使用多层神经网络（深度神经网络）来模拟和学习复杂的数据表示。
核心思想：通过堆叠多层非线性变换来自动提取数据中的高级抽象特征。
主要任务：
- 图像识别：如物体检测、图像分类等。
- 语音识别：转录和翻译语音信号。
- 自然语言处理：包括文本生成、情感分析等。
- 推荐系统：预测用户对物品的偏好。
常见架构：
- 卷积神经网络（CNNs）
- 循环神经网络（RNNs）
- 长短时记忆网络（LSTMs）
- Transformer
- 生成对抗网络（GANs）

回归Regression

定义: 预测一个或多个输入变量与一个连续的输出变量之间的函数关系，且要找的函数的输出是一个数值、标量（scalar），这种机器学习的任务称为回归
应用举例: 预测 PM2.5 数值、网页点击率
常见算法
- 线性回归
- 决策树回归
- 支持向量回归 (SVR)
- 神经网络回归
评估指标
- 均方误差 (MSE)
- 均方根误差 (RMSE)
- 平均绝对误差 (MAE)

分类Classification

定义: 让机器做选择题，预测离散类别输出的任务。人类先准备好一些选项即类别（class），要找的函数的输出就是从设定好的选项里面选择一个当作输出，该任务称为分类。
应用举例: 下围棋、
常见算法
- 逻辑回归
- 决策树分类
- 支持向量机 (SVM)
- K-近邻 (KNN)
- 神经网络分类
评估指标
- 准确率 (Accuracy)
- 精确度 (Precision)
- 召回率 (Recall)
- F1 分数
- ROC 曲线和 AUC 值
回归和分类相同点&区别
- 相同点
  1. 共同目标：都是试图预测未知数据的输出；都是监督学习的方法；都需要训练集来学习模型。
  2. 模型构建：许多算法可以同时用于回归和分类，如决策树和支持向量机。这些算法可以通过调整参数或输出层来适应不同类型的任务。
  3. 数据预处理：回归和分类任务通常都需要对数据进行相似的预处理步骤，如缺失值处理、特征缩放和特征工程。
  4. 交叉验证：为了评估模型性能，回归和分类都可以使用交叉验证技术。
- 区别
  1. 输出类型：
    - 回归：输出是连续值，如价格、温度等。
    - 分类：输出是离散类别，如“垃圾邮件”或“非垃圾邮件”。
  2. 模型输出：
    - 回归：模型输出通常是实际的数值。
    - 分类：模型输出可能是类别标签或每个类别的概率。
  3. 评估标准：
    - 回归：通常使用误差度量（如 MSE 或 RMSE）来评估性能。
    - 分类：通常使用准确率、精确度、召回率等指标来评估性能。
  4. 应用场景：
    - 回归：适用于需要预测具体数值的情况。
    - 分类：适用于需要对数据进行分类或标签化的情况。

结构化学习 (Structured Learning)

定义: 预测具复杂结构的输出(如序列、集合或图)。其组成结构是具有内在依赖关系的多个部分。
应用举例: 写文章、画图、机器翻译、图像分割
常见算法
- 条件随机场 (Conditional Random Fields, CRFs)
- 递归神经网络 (Recursive Neural Networks)
- 序列到序列模型 (Sequence-to-Sequence Models)
- 图神经网络 (Graph Neural Networks, GNNs)
评估指标
- 准确率 (Accuracy)
  - 对于序列预测任务，整体序列完全正确的比例。
- F1 分数 (F1 Score)
  - 特别适用于不平衡数据集，综合考虑了精确率和召回率。
- 编辑距离 (Edit Distance)
  - 度量两个序列之间的差异，常用于机器翻译和语音识别。
- 平均精度 (Mean Average Precision, mAP)
  - 特别适用于多标签分类和目标检测任务。
- 交并比 (Intersection over Union, IoU)
  - 在图像分割任务中用来衡量预测区域和真实区域的重合程度。

术语

模型、权重、偏置
超参数、学习率
鞍点、局部最小、全局最小值
激活函数（activation function）
模型偏差 VS 模型灵活性（flexibility）
交叉熵 (Cross Entropy)
- 定义: 量化模型预测的概率分布与实际标签的概率分布之间的差异
- 应用：机器学习第2步骤找Loss函数。如二分类、多分类。

交叉验证
- 训练集（training set）
- 验证集（validation set）
误差表面（error surface）
梯度下降（gradient descent）
批量（batch）、回合（epoch）
神经元、神经网络、隐藏层（hidden layer）、残差网络（Residual Network，ResNet）
反向传播（BackPropagation，BP）
全连接网络（fully-connected network）
卷积神经网络（Convolutional Neural Network，CNN

机器学习找函数3步骤

1. 结合具体背景大胆猜写一个带有参数的函数Fuction：f(x)
- 有专业知识就可以分析出谁是变量xi、谁是y；xi与y大概什么关系f
- 如果彻底黑盒、盲目猜呗，靠后面2步迭代回来修改就好
1. 确定损失函数(Loss)：L(b,w,θ3,θ4,…)
- 变量b,w,θ3,θ4,…是f(x)的参数
- 改变f(x)的参数，就可以求得误差、画出误差曲线
1. 确定最佳参数arg——找到最优函数f(x)
- 所以这步优化：梯度下降(Gradient Descent)
- 随即给定参数0
步骤图片