神经网络小记-主要组成简介

lxznjw

已于 2023-08-04 20:57:01 修改

阅读量589

点赞数 2

分类专栏：神经网络文章标签：神经网络深度学习机器学习

于 2023-07-06 10:03:08 首次发布

本文链接：https://blog.csdn.net/qq_40140808/article/details/131540946

版权

神经网络专栏收录该内容

11 篇文章 0 订阅

订阅专栏

神经网络是一种模拟人脑神经元工作方式的计算模型，它由许多不同的部件组成，每个部件都在网络中扮演着不同的角色。以下是神经网络的主要部件：

神经元（Neuron）：神经网络的基本单元。每个神经元接收输入，对输入进行加权求和，并通过激活函数转换得到输出。神经元的输出作为其他神经元的输入。
权重（Weights）：每个神经元都有对应的权重，用于对输入进行加权求和。权重是神经网络的可学习参数，在训练过程中通过反向传播算法进行优化。
激活函数（Activation Function）：激活函数决定神经元的输出。它通常是非线性函数，例如ReLU（Rectified Linear Unit）、Sigmoid、Tanh等。激活函数引入非线性性，使得神经网络可以学习复杂的映射关系。链接
层（Layer）：神经网络由多个层组成，每一层包含多个神经元。常见的神经网络层包括输入层、隐藏层和输出层。隐藏层是位于输入层和输出层之间的层，它们有助于神经网络学习更高级别的特征。
前向传播（Forward Propagation）：神经网络通过前向传播算法将输入数据从输入层传递到输出层，过程中每个神经元依次计算输出，并将输出传递给下一层。
损失函数（Loss Function）：损失函数用于衡量神经网络输出与真实标签之间的误差。通过最小化损失函数，神经网络可以学习如何调整权重以使输出更接近真实标签。链接
反向传播（Backpropagation）：反向传播是优化神经网络权重的关键步骤。它使用梯度下降算法，通过计算损失函数对权重的梯度，然后根据梯度更新权重，使得损失函数最小化。
优化器（Optimizer）：优化器是用于更新神经网络权重的算法。常见的优化器包括SGD（随机梯度下降）、Adam、RMSprop等。
批量归一化（Batch Normalization）：批量归一化是一种常用的正则化技术，用于加速神经网络的训练过程并提高模型的泛化能力。
正则化（Regularization）：正则化技术用于防止神经网络过拟合。除了批量归一化，还有L1正则化、L2正则化等方法。

这些部件相互作用，共同构成了神经网络模型，并通过学习和优化过程来提取输入数据的特征并进行预测和分类。不同类型的神经网络可以具有不同的结构和组成部件，以适应不同的任务和数据类型。

神经网络超参数

神经网络的超参数是在模型训练之前需要手动设置的参数，它们不是通过训练过程中自动学习得到的。以下是神经网络常见的超参数：

学习率（Learning Rate）: 学习率决定了每次参数更新的步长大小，影响模型在训练过程中的收敛速度和稳定性。
批量大小（Batch Size）: 批量大小指定了每次迭代中用于更新参数的训练样本数量，影响训练速度和内存需求。
迭代次数（Epochs）: 迭代次数定义了整个训练数据集被遍历的次数，用于控制训练的终止条件。
网络结构相关参数: 包括隐藏层的数量和大小、卷积核的大小、池化层的大小等，这些参数决定了网络的层数、节点数和过滤器的大小。
激活函数（Activation Function）: 选择适当的激活函数对于网络的性能很关键，例如Sigmoid、ReLU、Tanh等。
正则化参数: 正则化参数用于控制模型的复杂度，包括L1正则化、L2正则化等。
优化器（Optimizer）: 优化器决定了参数更新的算法，常见的有随机梯度下降（SGD）、Adam、Adagrad等。
Dropout参数: Dropout是一种正则化技术，可以随机将一部分神经元的输出设置为零，以减少过拟合。
权重初始化方法: 权重初始化对模型的训练和收敛速度有影响，常见的方法有随机初始化、Xavier初始化、He初始化等。
损失函数（Loss Function）: 根据不同的任务选择适当的损失函数，例如均方误差（MSE）、交叉熵损失（Cross-Entropy）等。

这些超参数的选择往往需要通过试验和调优来确定，不同的任务和数据集可能需要不同的超参数组合。通常，可以使用网格搜索、随机搜索、贝叶斯优化等方法来搜索超参数的最佳组合。

学习率

学习率是深度学习中的一个重要超参数，它决定了每次参数更新的步长大小。学习率的作用和选择对模型的训练过程和性能影响巨大。

学习率的作用：

收敛速度：学习率的大小会影响模型的收敛速度。较大的学习率可能导致参数更新过大，跳过了最优点，使模型难以收敛；而较小的学习率可能导致收敛速度较慢，需要更多的迭代次数。
稳定性：适当的学习率可以提高模型的稳定性。合适的学习率能够使模型在训练过程中保持平稳的参数更新，减少训练过程中的震荡和不稳定性。

学习率的选择：
选择合适的学习率是一个重要的任务，常见的选择方法包括：

初始学习率：一般情况下，可以从一个较小的学习率开始，例如0.1、0.01或更小，然后根据模型的表现逐渐调整学习率。
学习率衰减：在训练过程中逐渐降低学习率可以帮助模型更好地收敛。学习率衰减的方式有很多种，例如按照固定的衰减策略、根据训练步数进行衰减、根据验证集误差进行衰减等。
学习率调度策略：可以使用学习率调度策略，如StepLR、ReduceLROnPlateau等，根据训练过程中的特定规则自动调整学习率。
实验和调优：选择合适的学习率往往需要通过实验和调优来确定。可以尝试不同的学习率，并观察模型的训练和验证性能，选择在合适的学习率范围内表现最好的学习率。

学习率是神经网络中的优化器（Optimizer）的一个超参数，用于控制参数更新的步长大小。优化器是神经网络中负责计算和更新参数的组件，它根据损失函数的梯度信息来更新模型的参数。

在神经网络训练的过程中，优化器根据损失函数的梯度信息和学习率来更新神经网络的参数。具体来说，优化器根据梯度信息计算参数的变化量，并将该变化量乘以学习率作为参数更新的步长。学习率决定了每次参数更新的幅度。

通常，学习率应用于优化器的步骤中，例如随机梯度下降（SGD）、Adam、Adagrad等优化器。这些优化器会根据梯度和学习率计算参数的变化量，并更新模型的参数。

选择合适的学习率是优化神经网络训练过程的重要任务之一。学习率过大可能导致模型无法收敛，甚至出现震荡；学习率过小可能导致模型收敛速度过慢。因此，合适的学习率需要根据具体的问题、数据集和模型来进行调优和选择。

需要注意的是，学习率不仅仅是神经网络中的一部分，它是优化器的超参数，用于控制参数更新的步长。在神经网络训练过程中，学习率的选择对于模型的收敛速度、稳定性和性能有重要影响。

正则化

正则化是一种常用的技术，用于控制模型的复杂度，防止过拟合。以下是两种常见的正则化方法及其公式：

L1正则化（L1 Regularization）：
L1正则化通过在损失函数中添加权重参数的L1范数作为正则化项，促使模型中的权重参数稀疏化，即将一部分权重参数变为零。
L1正则化的损失函数形式为：Loss = 损失函数 + $L_{\text{L1}} （ \lambda \sum_{i} |w_i|）$
其中， $(L_{\text{L1}}$ )是L1正则化项的损失， $(\lambda$ )是正则化系数， $w_i$ )是权重参数。
L2正则化（L2 Regularization）：
L2正则化通过在损失函数中添加权重参数的L2范数作为正则化项，使得权重参数尽可能小，防止模型过度拟合。
L2正则化的损失函数形式为：Loss = 损失函数+ $L_{\text{L2}} （ \lambda \sum_{i} w_i^2）$
其中， $(L_{\text{L2}}$ )是L2正则化项的损失， $(\lambda$ )是正则化系数， $w_i$ )是权重参数。

这些正则化项通常会与损失函数中的实际损失项相加，形成最终的优化目标函数。通过调整正则化系数 $(\lambda$ )的大小，可以控制正则化的强度，从而在模型训练中平衡拟合能力和泛化能力。

正则化在训练过程中对权重参数施加了约束，使得模型更加稳定、泛化能力更强。同时，正则化还可以用于特征选择，通过L1正则化可以将一些特征的权重参数置为零，从而排除对模型预测影响较小的特征。

需要注意的是，正则化只应用于模型的权重参数，而不包括偏置项（bias）。

权重

在神经网络中，参数矩阵包括权重和偏置，它们用于计算输入信号的加权和，并通过激活函数进行非线性转换。梯度下降算法根据损失函数关于参数的梯度信息来更新参数的值，从而逐步调整参数以最小化损失函数。

神经元中的值是通过参数矩阵和输入信号的计算得到的，它们在网络的前向传播过程中逐层传递，并通过激活函数进行非线性转换。这些值是根据当前参数矩阵和输入信号计算得到的，而不会直接通过梯度下降算法进行更新。

参数是神经网络中可学习的变量，它们决定了神经网络的行为和性能。在神经网络的训练过程中，通过梯度下降算法来优化这些参数，以最小化损失函数并提高模型的准确性。梯度下降算法根据损失函数关于参数的梯度信息来更新参数的值，使其逐步收敛到最优解。

神经元的激活值是神经网络中信息的传递和处理的结果。在前向传播过程中，输入信号通过神经元的加权和计算得到激活值。激活值经过激活函数的非线性转换后，作为下一层神经元的输入传递下去。

总结起来，神经网络的参数是通过优化算法来调整的，以使其能够适应训练数据并提供准确的预测。而神经元中的值是通过输入信号和权重的计算得到的，并通过激活函数进行非线性转换，用于信息的传递和处理。两者在神经网络中扮演不同的角色。在神经网络的训练过程中，梯度下降算法只更新参数矩阵，而神经元中的值是根据当前参数和输入计算得到的，不会被梯度下降直接更新。然而，通过优化参数矩阵，梯度下降算法可以影响和调整神经元中的值，从而改变网络的行为和性能。在神经网络中，每个神经元包含两部分：权重（weights）和激活值（activation）。权重是连接神经元的输入和输出之间的参数，用于计算输入的加权和。激活值是通过应用激活函数对加权和进行非线性转换得到的结果。

梯度下降例

假设我们有一个简单的神经网络模型，包含一个输入层、一个隐藏层和一个输出层，其中隐藏层和输出层都使用ReLU作为激活函数。我们将通过一个具体的例子来说明激活函数的参与反向传播的计算过程。

假设输入层有2个神经元，隐藏层有3个神经元，输出层有1个神经元。我们使用以下符号来表示网络中的参数和激活值：

输入层到隐藏层的权重为 W1，大小为 (2, 3)
隐藏层的偏置为 b1，大小为 (3,)
隐藏层的激活值为 h，大小为 (3,)
隐藏层到输出层的权重为 W2，大小为 (3, 1)
输出层的偏置为 b2，大小为 (1,)
输出层的激活值为 y，大小为 (1,)
输出层的预测值为 y_pred

假设我们的损失函数为均方误差（MSE），表示为 loss。

前向传播过程如下：

输入层到隐藏层的加权和： z1 = np.dot(inputs, W1) + b1
隐藏层的激活值： h = relu(z1)
隐藏层到输出层的加权和： z2 = np.dot(h, W2) + b2
输出层的激活值： y = relu(z2)
输出层的预测值： y_pred = y

反向传播过程如下：

计算输出层的梯度：
- 计算损失函数对输出层激活值的导数： delta2 = 2 * (y_pred - labels)
- 计算输出层的偏置梯度： grad_b2 = np.sum(delta2, axis=0)
- 计算输出层到隐藏层权重的梯度： grad_W2 = np.dot(h.T, delta2)
计算隐藏层的梯度：
- 计算隐藏层的激活函数导数： delta1 = np.dot(delta2, W2.T) * relu_derivative(z1)
- 计算隐藏层的偏置梯度： grad_b1 = np.sum(delta1, axis=0)
- 计算输入层到隐藏层权重的梯度： grad_W1 = np.dot(inputs.T, delta1)
更新模型参数：
- 更新隐藏层到输出层的权重和偏置： W2 -= learning_rate * grad_W2, b2 -= learning_rate * grad_b2
- 更新输入层到隐藏层的权重和偏置： W1 -= learning_rate * grad_W1, b1 -= learning_rate * grad_b1

以上是一个简单的神经网络反向传播的计算过程示例，其中使用了ReLU作为激活函数。实际的计算过程可能更复杂，但基本原理相似，即通过链式法则计算并传递梯度。

优化器

优化器实际上是对梯度下降进行优化。梯度下降是一种基本的优化算法，通过计算损失函数关于参数的梯度，并沿着负梯度方向更新参数，来最小化损失函数。

然而，梯度下降算法有一些变体和改进，优化器就是为了针对不同的情况和需求进行了优化和改进的算法。优化器的目标是提高梯度下降算法的效率和收敛性，以便更快地找到损失函数的最小值或近似最小值。

常见的优化器算法包括：

随机梯度下降（SGD）：每次迭代只使用一个样本的梯度来更新参数，效率高，但可能存在收敛性较差和不稳定的问题。
批量梯度下降（BGD）：使用所有样本的梯度来更新参数，准确性高，但计算开销大，特别是对于大型数据集。
小批量梯度下降（mini-batch GD）：每次迭代使用一小批样本的梯度来更新参数，综合了 SGD 和 BGD 的优点，是目前常用的优化算法。
动量优化器（Momentum）：引入动量的概念，通过累积之前的梯度来加速参数更新，并减少震荡。
自适应学习率优化器：根据参数的梯度信息来动态调整学习率，例如 Adagrad、RMSprop、Adam 等。

这些优化器算法根据梯度信息来更新参数，并在不同情况下采用不同的策略来提高梯度下降算法的效果。通过选择适当的优化器，可以更好地优化神经网络的训练过程，加快收敛速度并提高模型的性能。

常见神经网络的优缺点

神经网络类型	优点	缺点
多层感知机 (MLP)	- 能够处理复杂的非线性模式 - 在处理结构化数据和分类问题时表现良好	- 对于高维输入数据，参数量较大，容易过拟合 - 对于图像等高维数据，可能不适用
卷积神经网络 (CNN)	- 对于图像和视觉任务表现出色 - 通过共享参数和局部连接减少参数量 - 捕捉空间和平移不变性特征	- 对于序列数据或非空间结构数据，可能不适用 - 对输入尺寸变化较敏感
循环神经网络 (RNN)	- 处理序列数据和自然语言处理任务效果好 - 具有记忆能力，能够捕捉时间依赖关系	- 难以并行计算，训练过程较慢 - 面对长序列，可能存在梯度消失或梯度爆炸问题
长短期记忆网络 (LSTM)	- 具有较强的记忆能力，可以更好地处理长序列数据 - 解决了传统RNN中的梯度消失和梯度爆炸问题	- 参数量较大，训练过程较慢 - 对于某些简单的序列任务，可能过于复杂
门控循环单元 (GRU)	- 训练速度相对LSTM较快 - 具有门控机制，可以学习选择性地记忆和遗忘信息	- 参数量较大，可能过于复杂 - 对于某些复杂的长序列任务，可能性能不如LSTM
自注意力网络 (Transformer)	- 捕捉长距离依赖关系 - 并行计算效率高 - 在机器翻译和语言建模等任务上取得了很好的效果	- 对于较小的数据集，可能会过拟合 - 对于图像处理等领域，可能不如CNN效果好

实例代码（鸢尾花数据集）

import torch
import torch.nn as nn
import torch.optim as optim
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

class ComplexNet(nn.Module):
    def __init__(self, input_dim, hidden_dim1, hidden_dim2, output_dim):
        super(ComplexNet, self).__init__()
        self.fc1 = nn.Linear(input_dim, hidden_dim1)
        self.relu1 = nn.ReLU()
        self.fc2 = nn.Linear(hidden_dim1, hidden_dim2)
        self.relu2 = nn.ReLU()
        self.fc3 = nn.Linear(hidden_dim2, output_dim)
    
    def forward(self, x):
        out = self.fc1(x)
        out = self.relu1(out)
        out = self.fc2(out)
        out = self.relu2(out)
        out = self.fc3(out)
        return out

def load_data():
    iris = load_iris()
    X, y = iris.data, iris.target
    scaler = StandardScaler()
    X = scaler.fit_transform(X)
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
    X_train = torch.tensor(X_train, dtype=torch.float32)
    y_train = torch.tensor(y_train, dtype=torch.long)
    X_test = torch.tensor(X_test, dtype=torch.float32)
    y_test = torch.tensor(y_test, dtype=torch.long)
    return X_train, X_test, y_train, y_test

def train_model(model, criterion, optimizer, X_train, y_train, num_epochs=100):
    for epoch in range(num_epochs):
        outputs = model(X_train)
        loss = criterion(outputs, y_train)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        if (epoch+1) % 10 == 0:
            print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item():.4f}')

def test_model(model, X_test, y_test):
    with torch.no_grad():
        outputs = model(X_test)
        _, predicted = torch.max(outputs.data, 1)
        accuracy = (predicted == y_test).sum().item() / len(y_test)
        print(f'Test Accuracy: {accuracy:.4f}')

def main():
    # 设置超参数
    input_dim = 4
    hidden_dim1 = 16
    hidden_dim2 = 8
    output_dim = 3
    learning_rate = 0.1
    num_epochs = 100

    # 加载数据
    X_train, X_test, y_train, y_test = load_data()

    # 初始化模型和损失函数
    model = ComplexNet(input_dim, hidden_dim1, hidden_dim2, output_dim)
    criterion = nn.CrossEntropyLoss()
    optimizer = optim.SGD(model.parameters(), lr=learning_rate)

    # 训练模型
    train_model(model, criterion, optimizer, X_train, y_train, num_epochs=num_epochs)

    # 在测试集上评估模型
    test_model(model, X_test, y_test)

if __name__ == '__main__':
    main()

lxznjw

关注

2
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
神经网络小记-主要组成简介

它使用梯度下降算法，通过计算损失函数对权重的梯度，然后根据梯度更新权重，使得损失函数最小化。前向传播（Forward Propagation）：神经网络通过前向传播算法将输入数据从输入层传递到输出层，过程中每个神经元依次计算输出，并将输出传递给下一层。批量归一化（Batch Normalization）：批量归一化是一种常用的正则化技术，用于加速神经网络的训练过程并提高模型的泛化能力。神经网络是一种模拟人脑神经元工作方式的计算模型，它由许多不同的部件组成，每个部件都在网络中扮演着不同的角色。
复制链接

扫一扫