何时使用MLP，CNN和RNN神经网络

最新推荐文章于 2025-04-07 11:31:02 发布
最新推荐文章于 2025-04-07 11:31:02 发布
阅读量5.8k 收藏 33
点赞数 9
分类专栏： 机器学习
原文链接：https://blog.csdn.net/baidu_33718858/article/details/84964311
版权

                           什么神经网络适合你的预测建模问题？

对于深层学习领域的初学者来说，知道使用哪种类型的网络可能是困难的。每天都有那么多类型的网络可供选择，并且有新的方法被公布和讨论。更糟糕的是，大多数神经网络足够灵活，即使用于错误的数据类型或预测问题，它们也能够工作（进行预测）。
在这篇文章中，你将发现三种主要人工神经网络的建议用途。
读完这篇文章，你会知道：

  1. 在处理预测建模问题时，需要关注哪种类型的神经网络。
  2. 何时使用、不使用，以及可能的尝试在项目中使用MLP、CNN和RNN。
  3. 在选择模型之前，要考虑使用混合模型，并清楚地了解项目目标。

我们开始吧。

概述


这篇文章分为五个部分，它们是：

  1. 要关注什么神经网络？
  2. 何时使用多层感知器？
  3. 何时使用卷积神经网络？
  4. 何时使用递归神经网络？
  5. 混合网络模型

要关注什么神经网络？

深度学习是使用现代硬件的人工神经网络的应用。
它允许开发、训练和使用比先前认为可能更大（更多层）的神经网络。
研究人员提出了成千上万种特定的神经网络作为对现有模型的修改或调整。有时完全是新的方法。
作为一名实践者，我建议等到模型变得普遍适用时再进行操作。从每天或每周发布的大量出版物的噪音中，很难弄清楚什么工作正常。
一般来说，我建议您关注三类人工神经网络。他们是：

多层感知器（MLP）
卷积神经网络（CNN）
递归神经网络（RNN）
这三类网络提供了很大的灵活性，并且经过几十年的实践证明，它们在广泛的问题中是有用的和可靠的。它们也有许多子类型来帮助专门针对预测问题的不同框架和不同数据集的特性。
现在我们已经知道了应该关注哪些网络，让我们看看何时可以使用每类神经网络。

何时使用多层感知器？


多层感知器，简称MLP，是神经网络的经典类型。
它们由一层或多层神经元组成。数据被馈送到输入层，可能存在一个或多个提供抽象级别的隐藏层，并且在输出层（也称为可见层）上进行预测。
有关MLP的更多细节，请参阅帖子：

MLP适用于分类预测问题，其中输入被分配一个类或标签。
它们也适用于回归预测问题，其中给定一组输入对实值量进行预测。数据通常以表格格式提供，如您在CSV文件或电子表格中看到的那样。

使用MLP用于：
表格式数据集
分类预测问题
回归预测问题

它们非常灵活，通常可用于学习从输入到输出的映射。
这种灵活性允许将它们应用于其他类型的数据。例如，可以将图像的像素减少到一长行数据，并将其输入给MLP。文档的单词也可以减少为一长行数据，并输入给MLP。即使时间序列预测问题的滞后观测值也可以减少为长数据行并输入给MLP。
因此，如果您的数据不是表格式数据集，例如图像、文档或时间序列，那么我建议至少测试一个MLP。这些结果可以用作比较基准点，以确认其他可能看起来更适合增值的模型。

尝试MLPs 在：
图像数据
文本数据
时间序列数据
其他类型的数据

何时使用卷积神经网络？


卷积神经网络（CNN）被设计成将图像数据映射到输出变量。
它们被证明是如此的有效，以至于对于涉及图像数据作为输入的任何类型的预测问题，它们都是可行的方法。
有关CNN的更多详细信息，请参阅帖子：

使用CNN的好处是它们开发二维图像的内部表示的能力。这允许模型学习数据中不同结构中的位置和比例，这对于处理图像非常重要。

使用CNN用于：
图像数据
分类预测问题
回归预测问题


更一般地，CNN能够很好地处理具有空间关系的数据。
CNN输入传统上是二维的，字段或矩阵，但也可以改变为一维，允许它开发一维序列的内部表示。
这允许CNN更一般地用于具有空间关系的其他类型的数据。例如，文本文档中的单词之间存在顺序关系。时间序列的时间步长是有序的关系。
尽管没有专门针对非图像数据开发，CNN在诸如情感分析中使用的文档分类和相关问题方面取得了最先进的结果。

试试CNN：
文本数据
时间序列数据
序列输入数据

何时使用递归神经网络？


递归神经网络（RNNs）被设计成处理序列预测问题。
序列预测问题有多种形式，最好用所支持的输入和输出类型来描述。
序列预测问题的一些示例包括：
一对多：作为输入的观察映射到多个步骤的输出序列。（也就是用一步观测值往后预测多步）
多对一：作为输入映射到类或数量预测的多个步骤的序列。（多步观测值预测一个类别或一步）
多对多：作为输入的多个步骤的序列，映射到具有多个步骤作为输出的序列。（多步观测值预测多步）
多对多问题通常被称为序列对序列，或简称seq2seq。
有关序列预测问题类型的详细信息，请参阅后文：

传统上，递归神经网络很难训练。
长短期记忆网络，或者LSTM，网络可能是最成功的RNN，因为它克服了训练循环网络的问题，并且反过来已经在广泛的应用中使用。
有关RNN的详细信息，请参阅帖子：

一般来说，RNN和LSTM在处理单词和段落序列（通常称为自然语言处理）时获得了最大的成功。
这包括文本序列和以时间序列表示的口语序列。它们也被用作需要序列输出的生成模型，不仅用于文本，还用于生成手写等应用程序。

使用RNN用于：
文本数据
语音数据
分类预测问题
回归预测问题
生成模型
如您在CSV文件或电子表格中看到的，递归神经网络不适合于表格式数据集。它们也不适合于图像数据输入。
不要使用RNN用于：
表格数据
图像数据
RNN和LSTM已经在时间序列预测问题上进行了测试，但至少可以说结果很差。自回归方法，甚至线性方法通常表现得更好。LSTM常常被应用于相同数据的简单MLP所超越。
有关此主题的更多信息，请参阅帖子：

然而，它仍然是一个活跃的领域。
也许试试RNNs：

时间序列数据

混合网络模型


CNN或RNN模型很少单独使用。
这些类型的网络在更广泛的模型中用作层，该模型还具有一个或多个MLP层。从技术上讲，这是一种混合型的神经网络结构。
也许最有趣的工作来自于将不同类型的网络混合到混合模型中。
例如，考虑一个模型，该模型使用一个层堆栈，在输入端有一个CNN，在中间有一个LSTM，在输出端有一个MLP。这样的模型可以读取图像输入序列，例如视频，并生成预测。这叫做CNN LSTM architecture.

网络类型还可以堆叠在特定的体系结构中以解锁新功能，例如使用非常深的CNN和MLP网络的可重用图像识别模型，这些网络可以添加到新的LSTM模型中，并用于照片的标题。此外，编码器-解码器LSTM网络，可用于具有不同长度的输入和输出序列。
首先要清楚地考虑您和您的团队从项目中需要什么，然后寻找满足您特定项目需求的网络体系结构（或开发网络体系结构）。
要获得帮助您思考数据和预测问题的良好框架，请参阅帖子：

进一步阅读


如果您希望深入研究，本节将提供关于这个主题的更多资源。

总结


在这篇文章中，您发现了三种主要人工神经网络的建议用途。
具体来说，你学到了：
在处理预测建模问题时，需要关注哪种类型的神经网络。
何时使用、不使用，以及可能的尝试在项目中使用MLP、CNN和RNN。
在选择模型之前，要考虑使用混合模型，并清楚地了解项目目标。

时序预测 | MATLAB实现MLP多层感知机时间序列预测
机器学习之心的博客，关注并私信文章链接，获取对应文章源码和数据。
08-29 1734
时序预测 | MATLAB实现MLP多层感知机时间序列预测
在NLP上，CNN、RNN、MLP三者相比各有何优劣
qunnie_yi的博客
11-28 1万+
本文为知乎温颖就如下问题的回答，已授权CSDN转载 若想要实现某个具体的任务，如做关系抽取、实体识别、情感分类等。在不考虑实现的难度的情况下，如何从理论、经验、直觉上去选择最有希望的模型？ 前段时间做过用不同的神经网络模型做文本分类/情感分析，都是基于词向量去做的，以下是我自己的一些感受：MLP：因为句子长度不固定，所以一般是用Bag-of-Word-Vectors 简单将词向量相加，...
MLP神经网络适合用于解决分类问题还是回归问题？
m0_37566886的博客
05-23 1505
多层感知机（Multilayer Perceptron，MLP）神经网络既可以用于解决分类问题，也可以用于解决回归问题。对于分类问题，MLP 的输出层通常使用 softmax 激活函数（对于多分类问题）或 sigmoid 激活函数（对于二分类问题）。对于回归问题，MLP 的输出层通常不使用激活函数，或者使用线性激活函数（即 f(x) = x）。对于隐藏层，也可以使用常用的激活函数，如 ReLU、sigmoid 或 tanh 等。总之，MLP 神经网络既可以用于解决分类问题，也可以用于解决回归问题。
AI计算模式 神经网络模型 全连接网络 卷积神经网络 循环神经网络 注意力机制 LeNet-5 门控循环单元网络GRU AI计算模式思考 轻量化网络模型设计 模型轻量化与模型压缩
万有文的博客
04-15 1133
AI技术发展至今，主流的模型是深度神经网络模型。近20年来，神经网络模型经过多样化的发展，模型总体变得越来越复杂和庞大，对硬件设备的计算速度、存储能力、通信速度的要求越来越高。尽管学者已经提出了许多方法优化模型结构，降低模型的参数量，但是伴随着人们对AI能力的要求越来越高，模型变得更大是不可避免的。原先单CPU可进行模型的训练与推理，如今需要使用GPU、TPU等设备，并通过分布式并行的方式完成计算。因此，如何高效地训练和部署深度神经网络模型已经成为研究热点。
多层神经网络（MLP）与卷积神经网络（CNN）的区别
最新发布
直到世界的尽头
04-07 626
多层神经网络（Multilayer Perceptron, MLP）与卷积神经网络（Convolutional Neural Network, CNN）是两种常用的神经网络结构，它们在设计理念、结构、应用场景和性能优化等方面有显著区别。通过理解这些区别，可以根据任务需求选择合适模型：若数据有显著的局部空间结构（如图像、语音），选择CNN；若数据是表格形式或无空间特征，则选用MLP或决策树等其他模型。
深入探索神经网络：MLP、CNN和Transformer在自然语言处理中的应用
rewysz007的博客
06-28 2000
多层感知器作为一种灵活和可扩展的神经网络结构，能够在各种AI应用中发挥重要作用。通过适当的网络设计和训练，MLP能够处理和学习复杂的数据模式，从而提高系统在不同任务中的性能和准确性。二. 编码器—解码器与注意力机制在机器翻译中，特别是当输入和输出序列的长度不同或不固定时，编码器—解码器结构配合注意力机制被广泛采用。编码器负责将输入序列编码为一个固定长度的上下文向量，而解码器则根据这个向量生成输出序列。这一点不作过多赘述，因为文章的后续也有涉及到。三。
不同类型的循环神经网络（Different types of RNNs）
csdn_xmj的博客
06-19 1134
来源：Coursera吴恩达深度学习课程 到目前为止我们已经了解了一种RNN结构，它的输入量T_x等于输出数量T_y。事实上，对于其他一些应用，和l两者并不一定相等。在这个视频里，我们会看到更多的RNN的结构： 如上图，比如音乐生成（music generation），T_x可以是长度为1甚至为空集。再比如电影情感分类（sentiment classification），输出y可以是1到5的整数，而输入是一个序列。在命名实体识别（name entity recognition）中，这个例子中输入长度
神经网络：多层感知机-MLP
weixin_50168152的博客
08-27 3065
MLP
【深度学习】MLP,CNN,RNN基本定义与区别
wongwongwong
11-25 2626
multilayer perceptron(多层感知机器)。常用于处理简单逻辑数学问题。
基于PyTorch的动态计算图和神经网络框架（MLP、CNN、RNN、Transformer）
10-02
在技术实现方面，NumPy实现类PyTorch的动态计算图和神经网络框架(MLP, CNN, RNN, Transformer)_PyDyNet正是这样一个工具，它能够利用NumPy这一强大的数值计算库来模拟PyTorch的行为。尽管PyTorch本身是用C++编写的，...
sommatlab代码-Deep-learning-foundation:MLP，CNN，RNN，AE等的Matlab和NumPy实现
05-26
来自KTH的两个基础深度学习课程的作业集合，分别是人工神经网络和深度架构（DD2437）和数据科学中的深度学习（DD2424），在其中我研究了经典和基础深度学习算法（MLP，CNN，RNN，AE， Hopfield Network，竞争性学习...
深度学习基础（人工神经网络、CNN、RNN、lstm）
06-12
在这个领域，人工神经网络（Artificial Neural Networks，ANN）、卷积神经网络（Convolutional Neural Networks，CNN）、循环神经网络（Recurrent Neural Networks，RNN）以及长短时记忆网络（Long Short-Term ...
什么是深度学习？kears简介，深度学习常用的三大模型，MLP(多层感知机)，CNN(卷积神经网络)，RNN(循环神经网络)
Cchaofan的博客
12-19 6456
什么是深度学习？kears简介，深度学习常用的三大模型，MLP(多层感知机)，CNN(卷积神经网络)，RNN(循环神经网络)
CNN与MLP之间的关系，优缺点
热门推荐
Drug discovery
12-21 2万+
CNN的计算过程： 很多书或论文也将MLP和CNN区别开来，但是实际MLP只是CNN的一个特例，也就是说MLP本身也是CNN，以下为简要的论述。 上图为CNN的计算过程，这里的输入为 3x3 的图片，卷积核大小也为 3x3 ，这里的stride为0，计算公式为 MLP的计算过程： MLP实际是1*1的卷积，n个卷积核就将原来的d维变为n维. 下图为MLP的计算过程（为了方便MLP的计算过程图权重W被拆开了实际为9x3的矩阵，而输入计算时应该先转置，输出也是需要转置，即 1x9 dot 9...
多对一的时间序列模型有哪些，分别怎么做
weixin_35756892的博客
01-05 452
多对一时间序列模型是指将多个序列作为输入，预测一个序列的模型。常见的多对一时间序列模型有以下几种： 多层感知机(MLP)：将多个序列堆叠在一起，作为MLP的输入，通过隐藏层和输出层进行预测。 长短期记忆(LSTM)：LSTM网络可以捕捉时序数据中长期依赖的特征，将多个序列输入LSTM网络，并使用LSTM的输出作为最终的预测结果。 双向长短期记忆(Bi-LSTM)：双向长短期记忆网络能够捕捉时...
【NLP】用MLP、CNN、RNN解决文本情感分类问题
晨曦的博客
07-20 5239
这是一个练手MLP、CNN、RNN的demo，pytorch实现。包含预处理，数据加载，模型构建，训练，测试，性能展示训练模型全套。细致讲解整个代码实现过程的每一步。 训练环境： Ubuntu 18.04 python 3.7 Conda CUDA 10.2 GPU RTX2080Ti 任务目标 利用PyTorch深度学习框架，实现多层感知机（MLP）、卷积神经网络（CNN）和递归神经网络（RNN）。 利用已实现好的深度网络模型，实现文本数据预处理、载入、训练和测试等功能，并根据预测的结果计算分类指标。
在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
MemRay
05-23 3228
Reprinted from: https://www.zhihu.com/question/41625896 例如，我要做某个具体的任务，比如做关系抽取、实体识别、情感分类，总要先从一个入手。不考虑实现的难度的话，如何从理论、经验、直觉上去选择最优希望的那个？那么这些关于CNN、RNN、MLP取舍的理论、经验和直觉都是什么呢，提前感谢。 知乎用户 ，深度算命入门中
深度学习之序列建模初总结
S_o_l_o_n的博客
09-21 2128
本文旨在讲解使用深度学习模型对序列数据进行建模，并且主要集中再MLP、RNN、LSTM以及GRU。 MLP MLP是最简单的神经网络模型，其就是一个简单的DNN，即全连接前馈深度神经网络。根据通用近似理论，MLP可以近似拟合出任意的连续函数。但是这里有一个基本的前提是，输入数据包含了影响应变量或者说预测变量的所有因子或者说特征，而且数据量需要足够大，这个足够大是相对于噪声和具体模型而言的。实际上，现实情况是，我们并无法在输入数据中包含所有特征，而且现实数据也往往包含较多的...
CNN和RNN在文本分类过程中的区别整理
samoyan的博客,记录技术成长~
03-21 1万+
在最左边的输出层有两个channel，每个channel是一个二维的矩阵，矩阵的列的长度等于语句sentence的长度（也就是sentence中的单词个数，通过padding使得待分类的每个sentence都有相同的长度），矩阵的行向量表示每个单词的向量形式，文中作者使用了word2vec工具初始化了，也就是每个单词都做了embedding。两个channel在初始化的时候是一样的，而之所以使用了
写出MLP、CNN和RNN算法的伪代码。
10-23
当然，我可以为你提供简单的线性回归神经网络（Multilayer Perceptron, MLP）、卷积神经网络(Convolutional Neural Network, CNN) 和循环神经网络(Recurrent Neural Network, RNN) 的伪代码概述。这里假设我们使用Python语言和NumPy库。 1. **多层感知机 (MLP)**: ```python class MLP: def __init__(self, layers): self.weights = [] for i in range(len(layers) - 1): w = np.random.randn(layers[i], layers[i+1]) b = np.zeros((1, layers[i+1])) self.weights.append((w, b)) def forward(self, X): activations = [X] for layer_weights, biases in self.weights: z = np.dot(X, layer_weights) + biases A = sigmoid(z) activations.append(A) X = A return A def sigmoid(x): # 激活函数 return 1 / (1 + np.exp(-x)) ``` 2. **卷积神经网络 (CNN) 示例**: ```python class ConvNet: def __init__(self, conv_layers, fc_layers): self.conv_layers = [(filter_size, num_filters, stride)] * len(conv_layers) self.fc_layers = [num_neurons] * len(fc_layers) def conv_forward(self, X, W, b): # ... 进行卷积操作 ... def max_pooling(self, X, pool_size, stride): # ... 进行最大池化 ... def forward(self, X): # 遍历卷积层和全连接层 for conv_params, fc_neuron_count in zip(self.conv_layers, self.fc_layers): # 对每个阶段执行卷积、激活和池化 # 然后将结果馈送到下一层全连接 return Z # 最终全连接层的输出 ``` 3. **循环神经网络 (RNN)** ```python class RNNCell: def __init__(self, input_dim, hidden_dim): self.Wxh = np.random.randn(hidden_dim, input_dim) self.Whh = np.random.randn(hidden_dim, hidden_dim) self.bh = np.zeros((1, hidden_dim)) self.by = np.zeros((1, hidden_dim)) def step(self, X_t, h_t_minus_1): # 计算当前时间步的隐藏状态 h_t = tanh(np.dot(h_t_minus_1, self.Whh) + np.dot(X_t, self.Wxh) + self.bh) y_t = softmax(np.dot(h_t, self.Wyh) + self.by) return h_t, y_t class RNN: def __init__(self, cell, seq_length): self.cell = cell self.seq_length = seq_length def forward(self, X): # 初始化隐藏状态 h = np.zeros((seq_length, cell.hidden_dim)) outputs = [] for X_t in X: h, y = self.cell.step(X_t, h) outputs.append(y) return outputs ``` 注意：以上代码仅为简化版示例，实际应用中需要处理数据预处理、损失函数计算、反向传播等更多细节。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值