目录
1.机器学习与深度学习
(1)机器学习
机器学习(Machine Learning)是一种通过计算机程序让计算机从数据中自动学习并改进性能的方法。它是人工智能技术的重要分支之一,通过让机器从数据中自动学习,并使用模型对新的数据进行预测或决策。
直观理解:机器学习就是:对于 y=f(x),已知 x 和 y 找一个好的 f ,即找到一个好的模型实现 y 与 x之间的映射。
(2)深度学习
深度学习(Deep Learning)是机器学习领域的一个分支,目的在于通过模拟人脑神经网络的结构和功能,实现对大规模数据进行自动化处理和学习的方法。其核心思想是构建和训练深层神经网络模型。
2.二者的区别
区别 | 机器学习 | 深度学习 |
模型复杂度 | 使用的模型相对简单,如线性回归、决策树、支持向量机等 | 使用深层神经网络模型,具有更高的复杂度和参数量 |
特征工程 | 需要人手动设计和选择合适的特征来表示数据 | 神经网络自动从原始数据中学习到更高级的特征表示,减少了对人的依赖 |
计算资源 | 对计算资源的需求较低 | 需要更大的计算资源,如GPU和分布式计算 |
应用领域 | 广泛应用于各种任务,如分类、回归、聚类等 | 在计算机视觉、自然语言处理和语音识别等领域取得显著成果 |
3.深度学习中常用的网络模型
(1)前馈神经网络
前馈神经网络(Feedforward Neural Network,FNN),是一种最基本和常见的神经网络类型。包含输入层、隐藏层和输出层。
-
输入层:接受外部的输入,每个神经元对应输入数据的一个特征。
-
隐藏层:在输入层和输出层之间的神经元层。隐藏层可以有多个,每个隐藏层包含多个神经元。隐藏层的神经元通过权重连接到前一层的神经元,并使用激活函数引入非线性变换。
-
输出层:用于产生最终预测结果。输出层的神经元数量取决于任务的要求,如二分类问题通常使用一个神经元,多分类问题通常使用多个神经元。
其工作方式是从输入层开始,逐层传播信号,直到达到输出层。每个神经元接收上一层的输出,通过加权和计算和激活函数的非线性变换得到自己的输出。这个过程是单向的,没有反馈连接。前馈神经网络通过训练数据集进行监督学习,使用反向传播算法和梯度下降优化算法来更新网络中的权重,以最小化预测结果与真实值之间的误差。
(2)卷积神经网络
卷积神经网络(Convolutional Neural Network,CNN)是一种深度学习模型,其核心思想是通过卷积层提取输入数据的特征,并通过池化层减小特征图的尺寸。
卷积神经网络包含以下几个主要组件:
-
卷积层(Convolutional Layer):使用一组可学习的滤波器(也称为卷积核)对输入数据进行卷积操作,从而提取出输入数据的特征。这些滤波器在整个输入数据上进行滑动,每次计算卷积操作得到一个特征图。
-
激活函数(Activation Function):卷积层之后一般会添加激活函数,如ReLU、Tanh等,用于引入非线性变换,增加模型的表达能力。
-
池化层(Pooling Layer):用于缩小特征图的尺寸并减少参数数量,常用的池化操作包括最大池化和平均池化。
-
全连接层(Fully Connected Layer):用于将前面的卷积层和池化层输出的特征图展平为一维向量,并与权重矩阵相乘得到最终的输出结果。
CNN 的训练过程通常使用反向传播算法结合梯度下降优化算法进行参数更新,以使模型能够逐渐学习到更好的特征表示和分类能力。
(3)循环神经网络
循环神经网络(Recurrent Neural Network,RNN)是一种神经网络结构,主要用于处理序列数据。与传统的前馈神经网络不同,RNN 具有反馈连接,可以将当前时刻的输入与前一时刻的状态进行联合处理,从而更好地捕捉序列数据中的时间依赖性,RNN能够处理任意长度的时序数据。
其基本结构是一个包含一个或多个循环单元的网络。在每个时刻,循环单元接收当前的输入和前一时刻的状态,并输出当前时刻的状态和输出。具体来说,它们通过更新隐藏状态来记忆先前的信息并将其传递到下一个时间步骤,从而可以处理变长序列数据。由于循环单元的可重复使用性,RNN 可以接受任意长度的输入序列。
(4)长短时记忆网络
长短时记忆网络(Long Short-Term Memory,LSTM)是一种循环神经网络的变体,它通过引入门控机制来解决传统 RNN 中长期依赖问题。
在 LSTM 中,每个时间步骤都包含一个称为 LSTM 单元的基本组件。LSTM 单元由三个门控单元组成:输入门、输出门和遗忘门,以及一个细胞状态。这些门控单元决定了 LSTM 单元如何处理输入和前一时刻的状态,从而灵活地控制信息流。
LSTM 的输入门决定了哪些信息可以进入 LSTM 单元,遗忘门决定哪些信息应该从细胞状态中删除,输出门决定了哪些信息可以输出到下一时间步。此外,LSTM 单元还可以仅通过细胞状态传递信息,从而有效地跨越多个时间步骤传递信息。这使得 LSTM 能够更好地处理长期依赖关系。