神经网络
文章平均质量分 77
凉漠
这个作者很懒,什么都没留下…
展开
-
储备池、神经网络、回声状态网络(ESN)和液态机(LSM)
储备池的简要概括。前馈神经网络(Feedforward neural networks,FNN)和递归神经网络(Recurrent neural networks,RNN)。回声状态网络(ESN)和液态机(LSM)的共同点和区别。原创 2023-01-07 18:22:29 · 3259 阅读 · 0 评论 -
BP神经网络
BP (Back Propagation) 神经网络是1986年由 Rumelhart 和 McClelland 为首的科学家提出的概念,是一种按照误差逆向传播算法训练的多层前馈神经网络,是应用最广泛的神经网络。,从输出层到隐含层,最后到输入层,依次调节隐含层到输出层的权重和偏置,输入层到隐含层的权重和偏置。,旨在最小化损失函数,从而对输入数据进行精确的分类或回归预测。输入层到隐藏层的权重,w隐藏层到输出层的权重。神经网络是一种多层前馈神经网络,它通过。,从输入层经过隐含层,最后到达输出层;原创 2024-06-25 20:28:41 · 482 阅读 · 0 评论 -
双向长短期记忆神经网络BiLSTM
网络,一个按照正向顺序处理输入序列,另一个按照反向顺序处理输入序列。遗忘门(forgetgate):决定上一个时间步的细胞状态对当前时间步的影响程度。输入门(input gate):决定当前时间步的输入信息对细胞状态的影响程度。隐藏状态(hiddenstate):当前时间步的输出,也是下一个时间步的输入。输出门(output gate):决定细胞状态对当前时间步的输出影响程度。输入门用来控制当前输入数据对记忆单元状态值的影响。LSTM 是一种特殊的 RNN,它通过引入。输出门用来控制记忆单元状态值的输出。原创 2024-06-25 20:10:25 · 1016 阅读 · 0 评论 -
神经网络——数据预处理
方差缩放方法能够根据神经元的链接数量来自适应地调整初始化分布地方差,尽可能的保证每个神经元的输入和输出方差一致。原创 2024-06-24 15:25:33 · 573 阅读 · 0 评论 -
神经网络参数-----batch_size
在神经网络的训练过程中,一个非常直观的需要调整的超参数就是batch size。我们需要决定在一次训练中,要选取多少样本喂给神经网络,这个要选择的样本个数,就是batch size。batch size的。原创 2024-06-24 15:01:40 · 2852 阅读 · 0 评论 -
神经网络参数-----学习率(Learning Rate)
学习率是训练神经网络的重要超参数之一,它代表在每一次迭代中梯度向损失函数最优解移动的步长。在网络训练过程中,模型通过样本数据给出预测值,计算代价函数并通过反向传播来调整参数。可知道除了梯度本身,这两个因子直接决定了模型的权重更新,从优化本身来看它们是影响模型性能收敛最重要的参数。学习率直接影响模型的收敛状态,batchsize则影响模型的泛化性能,两者又是分子分母的直接关系,相互也可影响,因此这一次来详述它们对模型性能的影响。在训练过程中,一般根据训练轮数设置动态变化的学习率。根据上述公式我们可以看到。原创 2024-06-24 11:38:01 · 1916 阅读 · 0 评论 -
基本循环神经网络(RNN)
在前馈神经网络中,信息的传递是单向的,这种限制虽然使得网络变得更容易学习,但在一定程度上也减弱了神经网络模型的能力。在生物神经网络中,神经元之间的连接关系要复杂的多。前馈神经网络可以看着是一个复杂的函数,每次输入都是独立的,。。比如一个有限状态自动机,其下一个时刻的状态(输出)不仅仅和当前输入相关,也和当前状态(上一个时刻的输出)相关。此外,前馈网络难以处理时序数据,比如视频、语音、文本等。。因此,当处理这一类和时序相关的问题时,就需要一种能力更强的模型。是一类具有短期记忆能力的神经网络。原创 2024-06-19 15:53:05 · 1214 阅读 · 0 评论