深度学习学习经验——全连接神经网络（FCNN）

已于 2024-08-23 15:10:02 修改
阅读量467 收藏 16
点赞数 5
分类专栏： 深度学习学习经验 文章标签： 深度学习 学习 神经网络
于 2024-08-22 17:22:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41065669/article/details/141433463
版权

什么是全连接神经网络？

全连接神经网络（FCNN）是最基础的神经网络结构，它由多个神经元组成，这些神经元按照层级顺序连接在一起。每一层的每个神经元都与前一层的每个神经元连接。

想象你在参加一个盛大的晚会，晚会上有三个区域：接待区、交流区和结果区。

  • 接待区（输入层）：负责接收来宾（数据），每个来宾代表一个特征。
  • 交流区（隐藏层）：每个来宾在交流区与其他来宾交流，交换信息。这里的每个交流区的来宾（神经元）都会与其他来宾进行对话，以获得更深层次的理解。
  • 结果区（输出层）：最后，在结果区，来宾们会得出他们的总结（预测结果），然后将其提供给晚会的组织者（输出）。

神经网络的结构

输入层（Input Layer）
  • 功能：接受原始数据。每个神经元代表一个特征，例如图片的像素值、语音信号的特征等。
  • 示例：如果你有一张28x28像素的灰度图片，那么输入层会有784个神经元（28x28=784），每个神经元代表一个像素值。
隐藏层（Hidden Layer）
  • 功能：处理和提取数据特征。每个神经元通过加权和激活函数来处理输入数据，然后将结果传递到下一层。
  • 示例：隐藏层的神经元数目可以是任意的，例如100个神经元。隐藏层能够提取数据的复杂特征，如图像中的边缘或形状。
输出层（Output Layer）
  • 功能：给出最终的预测结果。输出层的神经元数目等于任务的类别数。例如，在数字分类任务中，输出层有10个神经元（分别代表0到9这10个数字）。
  • 示例：如果你要识别图片中的数字（0-9），输出层的每个神经元会输出一个数字的概率。
激活函数（Activation Function）
  • 功能：引入非线性，使得神经网络能够处理复杂的模式。激活函数决定了神经元是否激活。
  • 常见激活函数：
    • ReLU（Rectified Linear Unit）：f(x) = max(0, x)。用于隐藏层，能够引入非线性，提升模型表现。
    • Sigmoid：f(x) = 1 / (1 + exp(-x))。用于输出层，特别是在二分类任务中。

下面为代码案例

我们使用MNIST数据集来训练一个简单的全连接神经网络模型。MNIST数据集包含了手写数字的图像，每个图像的大小为28x28像素，共10个类别（0-9）。

如果在下载 MNIST 数据集时遇到了问题。尝试手动下载数据集（经尝试官方的似乎会被墙，说没有权限下载）

手动下载数据集

可以手动下载 MNIST 数据集，并将其放到合适的目录下。

  1. 下载数据集：

    • MNIST 数据集 主页提供了所有必要的文件。可以直接从这里下载：
      • train-images-idx3-ubyte.gz
      • train-labels-idx1-ubyte.gz
      • t10k-images-idx3-ubyte.gz
      • t10k-labels-idx1-ubyte.gz
    • 如果官方的渠道无法下载 可以从我分享的 MNIST数据集下载

  2. 解压文件：

    • 下载后，可以使用工具解压这些 .gz 文件。例如，在终端中运行：
      gunzip train-images-idx3-ubyte.gz
gunzip train-labels-idx1-ubyte.gz
gunzip t10k-images-idx3-ubyte.gz
gunzip t10k-labels-idx1-ubyte.gz

  3. 移动文件：

    • 将解压后的文件放到项目目录下的 ./data/MNIST/raw/ 目录中。

1. 数据预处理

首先，我们需要对 MNIST 数据集进行预处理，将图像转换为 Tensor，并进行归一化处理。

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms

# 1. 数据预处理
transform = transforms.Compose([
    transforms.ToTensor(),  # 将图像转换为Tensor，并归一化到[0, 1]
    transforms.Normalize((0.5,), (0.5,))  # 标准化
])

train_dataset = datasets.MNIST(root='./data', train=True, download=True, transform=transform)
test_dataset = datasets.MNIST(root='./data', train=False, download=True, transform=transform)

train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True)
test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=64, shuffle=False)

讲解：

  • 使用 torchvision.transforms 对 MNIST 数据集进行转换，将图像转换为 Tensor，并归一化到 [0, 1] 范围。
  • 将数据集加载到 DataLoader 中，设置批量大小和是否打乱数据。

2. 定义全连接神经网络模型

接下来，定义一个简单的全连接神经网络模型。这个模型包括三个全连接层和两个激活函数（ReLU 和 Softmax）。

# 2. 定义全连接神经网络模型
class SimpleNN(nn.Module):
    def __init__(self):
        super(SimpleNN, self).__init__()
        self.fc1 = nn.Linear(28*28, 128)  # 第一层：输入层到隐藏层
        self.fc2 = nn.Linear(128, 64)     # 第二层：隐藏层到隐藏层
        self.fc3 = nn.Linear(64, 10)      # 第三层：隐藏层到输出层
        self.relu = nn.ReLU()             # ReLU激活函数
        self.softmax = nn.Softmax(dim=1)  # Softmax激活函数，用于输出层

    def forward(self, x):
        x = x.view(-1, 28*28)  # 将每张图片展平为一维向量
        x = self.relu(self.fc1(x))  # 第一层到ReLU
        x = self.relu(self.fc2(x))  # 第二层到ReLU
        x = self.fc3(x)            # 第三层，输出层
        return self.softmax(x)     # Softmax输出

model = SimpleNN()

讲解：

  • 定义了一个名为 SimpleNN 的神经网络类，继承自 nn.Module。
  • 在 __init__ 方法中定义了三个全连接层（fc1, fc2, fc3）和两个激活函数（ReLU 和 Softmax）。
  • 在 forward 方法中定义了数据如何流经网络层，包括展平、激活函数和最终的 Softmax 输出。

3. 定义损失函数和优化器

然后，我们定义损失函数和优化器。这里使用交叉熵损失函数和 Adam 优化器。

# 3. 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()  # 交叉熵损失函数
optimizer = optim.Adam(model.parameters(), lr=0.001)  # Adam优化器

讲解：

  • 使用 nn.CrossEntropyLoss 作为损失函数，这适用于分类任务。
  • 使用 optim.Adam 作为优化器来更新网络参数，设置学习率为 0.001。

4. 训练模型

接下来，我们定义一个函数来训练模型。在每个 epoch 中，模型会遍历训练数据，进行前向传播、计算损失、进行反向传播并更新参数。

# 4. 训练模型
def train(model, criterion, optimizer, train_loader, epochs=5):
    model.train()
    for epoch in range(epochs):
        running_loss = 0.0
        for images, labels in train_loader:
            optimizer.zero_grad()  # 清空梯度
            outputs = model(images)  # 前向传播
            loss = criterion(outputs, labels)  # 计算损失
            loss.backward()  # 反向传播
            optimizer.step()  # 更新参数

            running_loss += loss.item()
        print(f"Epoch {epoch+1}/{epochs}, Loss: {running_loss/len(train_loader)}")

讲解：

  • train 函数通过指定的 epochs 训练模型。每个 epoch 中，模型会遍历训练数据，进行前向传播、计算损失、进行反向传播并更新参数。
  • 每个 epoch 结束后，输出当前的平均损失。

5. 评估模型

最后，我们定义一个函数来评估模型的准确性。在测试数据上评估模型的表现。

# 5. 评估模型
def evaluate(model, test_loader):
    model.eval()
    correct = 0
    total = 0
    with torch.no_grad():
        for images, labels in test_loader:
            outputs = model(images)
            _, predicted = torch.max(outputs, 1)
            total += labels.size(0)
            correct += (predicted == labels).sum().item()
    accuracy = correct / total
    print(f"Test Accuracy: {accuracy:.4f}")

讲解：

  • evaluate 函数在测试数据上评估模型的准确率。模型进入评估模式，不计算梯度，直接进行预测并计算准确率。
  • 输出模型在测试数据上的准确性。

完整代码

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms

# 1. 数据预处理
transform = transforms.Compose([
    transforms.ToTensor(),  # 将图像转换为Tensor，并归一化到[0, 1]
    transforms.Normalize((0.5,), (0.5,))  # 标准化
])

train_dataset = datasets.MNIST(root='./data', train=True, download=True, transform=transform)
test_dataset = datasets.MNIST(root='./data', train=False, download=True, transform=transform)

train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True)
test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=64, shuffle=False)

# 2. 定义全连接神经网络模型
class SimpleNN(nn.Module):
    def __init__(self):
        super(SimpleNN, self).__init__()
        self.fc1 = nn.Linear(28*28, 128)  # 第一层：输入层到隐藏层
        self.fc2 = nn.Linear(128, 64)     # 第二层：隐藏层到隐藏层
        self.fc3 = nn.Linear(64, 10)      # 第三层：隐藏层到输出层
        self.relu = nn.ReLU()             # ReLU激活函数
        self.softmax = nn.Softmax(dim=1)  # Softmax激活函数，用于输出层

    def forward(self, x):
        x = x.view(-1, 28*28)  # 将每张图片展平为一维向量
        x = self.relu(self.fc1(x))  # 第一层到ReLU
        x = self.relu(self.fc2(x))  # 第二层到ReLU
        x = self.fc3(x)            # 第三层，输出层
        return self.softmax(x)     # Softmax输出

model = SimpleNN()

# 3. 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()  # 交叉熵损失函数
optimizer = optim.Adam(model.parameters(), lr=0.001)  # Adam优化器

# 4. 训练模型
def train(model, criterion, optimizer, train_loader, epochs=5):
    model.train()
    for epoch in range(epochs):
        running_loss = 0.0
        for images, labels in train_loader:
            optimizer.zero_grad()  # 清空梯度
            outputs = model(images)  # 前向传播
            loss = criterion(outputs, labels)  # 计算损失
            loss.backward()  # 反向传播
            optimizer.step()  # 更新参数

            running_loss += loss.item()
        print(f"Epoch {epoch+1}/{epochs}, Loss: {running_loss/len(train_loader)}")

# 5. 评估模型
def evaluate(model, test_loader):
    model.eval()
    correct = 0
    total = 0
    with torch.no_grad():
        for images, labels in test_loader:
            outputs = model(images)
            _, predicted = torch.max(outputs, 1)
            total += labels.size(0)
            correct += (predicted == labels).sum().item()
    accuracy = correct / total
    print(f"Test Accuracy: {accuracy:.4f}")

# 执行训练和评估
train(model, criterion, optimizer, train_loader)
evaluate(model, test_loader)

这个完整的代码示例展示了如何使用 PyTorch 构建、训练和评估一个简单的全连接神经网络模型。

总结

全连接神经网络是最基础的神经网络结构，通过输入层接收数据，通过隐藏层进行特征提取和学习，最后通过输出层给出预测结果。激活函数为网络引入非线性，使其能够学习和处理复杂的模式。通过逐步构建和训练模型，我们可以解决各种数据分类和回归问题。

Linductor
关注
  • 5
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
全连接神经网络 全连接网络 深度学习 C++实现 VC实现 C++源代码 VC源代码 MNIST
03-03
全连接神经网络（Full-Connected Neural Network，FCNN）是深度学习领域中基础且重要的模型，主要用于模式识别、图像分类等任务。在这个项目中，我们关注的是使用C++语言实现的全连接网络，特别是在处理MNIST手写...
不使用框架实现全连接神经网络进行手写数字识别(layer封装好)
02-19
在深度学习领域，全连接神经网络（Fully Connected Neural Network，简称FCNN）是最早也是最基础的模型之一，尤其在图像识别任务中有着广泛的应用。本项目实现了不依赖任何特定框架，如TensorFlow、PyTorch等，从零...
【深度学习】手动实现全连接神经网络（FCNN）
CXY819394的博客
03-19 2557
神经网络是一门重要的机器学习技术，是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术。人脑中的神经网络是一个非常复杂的组织。成人的大脑中估计有1000亿个神经元之多。机器学习中的神经网络是如何实现这种模拟，并达到如此惊人的效果的？本篇文章将从简单介绍，并手动基于numpy来复现一个神经网络结构，以期能够全面了解神经网络的构建过程。
神经网络学习日记（二）——全连接神经网络及Pytorch代码实现
Spark_lr的博客
01-15 767
全连接神经网络（FCNN）的学习，包括模型的结构、框架，以及基于PyTorch的代码实现
神经网络与深度学习 （二）—— 全连接神经网络
zxxRobot的博客
01-29 3513
1. 前馈神经网络 从机器学习的角度看，神经网络一般可以看做是一个非线性模型，其基本组成单元为具有非线性激活函数的神经元，通过大量神经元之间的连接，使得神经网络成为一种高度非线性的模型。神经元之间的连接权重就是要学习的参数，可以在机器学习框架下通过梯度下降法来进行学习。 1.1 神经元 典型神经元结构如下： 神经元接收D 个输入，用向量x=[x1;x2;⋯ ;xD]\boldsymbol{x}=\left[x_{1} ; x_{2} ; \cdots ; x_{D}\right]x=[x1​;x2​;⋯;
深度学习学习经验——卷积神经网络（CNN）
最新发布
qq_41065669的博客
08-23 372
卷积神经网络（Convolutional Neural Network, CNN）是深度学习中一种非常重要的模型结构，特别擅长处理图像数据。CNN 通过卷积操作和池化操作来自动提取图像的特征，并使用全连接层进行分类或回归等任务。
AI学习_深度神经网络DNN/FCNN/MLP
qq_41848886的博客
11-11 901
深度神经网络DNN/FCNN/MLP
【深度学习01】TensorFlow神经网络理论实战
weixin_55252589的博客
07-25 1111
TensorFlow是运用最广的深度学习框架之一。他还有另外一个同行叫做pytorch。他俩的区别就是TensorFlow比pytorch难写不止一点半点。而且TensorFlow它的版本迭代，很多版本之间是互相不兼容的。TensorFlow既服务于科研，又服务于生产。他还是多平台支持的，丰富的生态环境。TensorFlow的运作方式是先构建计算图，这个计算图里面是没有东西的，只有当我们把数据送到里面的时候，开始一个session的计算的时候，他才有数据的流动。所以这跟我们平常的编程模式是有一些差别的。
神经网络学习日记（三）——CNN卷积神经网络
Spark_lr的博客
01-15 1360
卷积神经网络（CNN）的学习，主要包括CNN的网络结构，以及卷积层、池化层、全连接层的结构详细介绍
神经网络和深度学习基础知识
verssqsq2089的博客
11-23 1073
首先，我们需要明确几个概念之间的关系。机器学习(Machine Learning,ML) 是人工智能(Artificial Intelligence,AI)的子集，神经网络(Neural Network,NN)是机器学习的子集，深度学习(Deep learning,DL)是神经网络的子集。如图1-1所示。图0-1 几个概念之间的关系人工神经网络(Artificial Neural Network,ANN)，简称神经网络，是机器学习的重要研究方向。
神经网络和深度学习个人手记
qq_45026299的博客
04-13 1025
记录一下自己的学习笔记，该部分内容为神经网络的基础知识。概念简要机器学习：机器能从数据中学习到知识（例如数据与数据间的关系）。神经网络：仿造人脑神经网络的工作原理，提出的一种数据处理方法。深度学习：机器能自动从数据中提取特征，并学习数据间隐含的关系。故深度学习=特征提取/表示方法 + 浅层机器学习以上有部分知识这里未做详细的介绍：激活函数梯度下降的具体内容损失函数的具体内容书籍深度学习入门：基于Python的理论与实现 (斋藤康毅)链接。
CS231n全连接神经网络作业答案参考
11-05
总的来说，这份CS231n的全连接神经网络作业提供了从理论到实践的深度学习经验，对于理解和掌握神经网络的基本运作机制非常有帮助。通过不断学习和改进，我们可以构建更强大、更适应实际问题的模型。
零基础入门深度学习(3) - 神经网络和反向传播算法1
08-03
在全连接神经网络（FCNN）中，神经元按层排列，分为输入层、隐藏层和输出层。输入层接收数据，隐藏层处理信息，而输出层给出最终预测。每层的神经元与前一层所有神经元相连，每个连接都有一个权重。这样的结构使得...
Add_Practice_全连接神经网络_
09-29
全连接神经网络（FCNN）是深度学习中最基础的模型之一，它在处理各种机器学习问题时发挥着重要作用。在本项目中，我们将探讨如何使用Python实现一个全连接神经网络，并将其应用于鸢尾花数据集。 鸢尾花数据集是一个...
深度学习里面的网络模型绘图工具
05-22
深度学习里面的网络模型绘图工具，用到了python语言。 http://alexlenail.me/NN-SVG/LeNet.html 正常的话是需要翻墙才能下载到，并且该服务器处于海外，下载速度对很慢很慢，亲测！所以还不如在这里下载！真的很划算...
mnist数据识别，softmax回归识别，全连接神经网络是被，CNN网络识别
12-30
总的来说，这些文件覆盖了从简单的Softmax回归到复杂的CNN网络，以及数据处理和模型保存的全过程，是深度学习初学者和实践经验者很好的学习资源。通过理解并实践这些代码，可以深入掌握深度学习模型在实际问题中的...
基于深度学习的驾驶员换道行为预测-惠飞.pdf
05-28
综上所述，本文提出了一种基于深度学习的驾驶员换道行为预测方法，通过结合全连接神经网络和循环神经网络，并引入动态时间窗口的概念，实现了对驾驶员换道行为的有效预测。实验结果证明了该模型的有效性和优越性，为...
全连接神经网络-pytorch
09-26
全连接神经网络（Fully Connected Neural Network，FCNN）是深度学习中最基础的模型之一，它在许多领域，如图像识别、自然语言处理等都发挥着重要作用。PyTorch 是一个流行的开源深度学习框架，以其易用性和灵活性而...
卷积神经网络基础与全连接神经网络问题
"L05-卷积神经网络1 讲解了卷积神经网络在计算机视觉中的应用，以及全连接神经网络的反向传播过程。课程指出全连接神经网络在处理高维数据如图像时存在的问题，并引出卷积神经网络解决这些问题的机制，如利用局部...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Linductor

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值