神经网络计算公式

本文详细介绍了神经网络中的参数计算、卷积神经网络的参数量、输出尺寸以及全连接网络的参数量。涵盖了卷积操作的K_h, K_w, C_in, C_out等关键参数,以及输出图像大小的计算方法。适合深度理解神经网络工作原理的读者。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

神经网络计算公式

参数说明

名称含义
K_h卷积核的高
K_w卷积核的宽
C_in输入通道数
C_out输出通道数
out_width输出图像的宽度
out_height输出图像的高度
in_width输入图像的宽度
in_height输入图像的高度
Ppadding,为填充大小
Sstride,为步长

一、卷积神经网络

  1. 参数量:
    Params = K_h × K_w × C_in × C_out + C_out
    其中,K_h × K_w × C_in × C_out代表权重数,C_out 代表偏置数

  2. 卷积后输出图像大小
    out_width = (in_width - K_w + 2P)/ S + 1(向下取整)
    out_height = (in_height - K_h + 2P) / S + 1(向下取整)

  3. 池化后输出图像大小
    out_width = (in_width - K_w )/ S + 1(向下取整)
    out_height = (in_height - K_h ) / S + 1(向下取整)

二、全连接神经网络

  1. 参数量:
    Params = C_in × C_out + C_out
    其中 C_in × C_out 代表权重数,C_out代表偏置数
前馈神经网络(Feedforward Neural Network, FNN),也称为多层感知机(Multilayer Perceptron, MLP),是一种常见的深度学习模型。它的特点是信号从前向后传递,不存在反馈连接。每一层中的节点只接收来自上一层的输入,并将其输出发送给下一层。 ### 前馈神经网络的基本组成部分 - **输入层**:接受外部数据作为输入。 - **隐藏层**:由若干个隐含单元构成,每个单元通常包括一个权重矩阵、偏置项和激活函数。 - **输出层**:给出最终的结果或预测值。 ### 计算公式详解 #### 单层计算公式 对于单个隐藏层的情况,假设我们有一个包含 \( N \) 个样本的数据集,每条记录有 \( d_{in} \) 维特征,则可以按照如下方式进行计算: \[ z^{[l]} = W^{[l]}a^{[l-1]} + b^{[l]} \] \[ a^{[l]} = g(z^{[l]}) \] 其中, - \( l \): 表示当前处理的是第几层 (\( l=0\) 对应输入层,\( L+1 \)对应输出层). - \( W^{[l]} \): 权重矩阵. - \( b^{[l]} \): 偏置向量. - \( a^{[l]} \): 第\( [l]\) 层的激活后的输出(也是下一层次的输入). - \( z^{[l]} \): 线性组合变量. - \( g(\cdot)\ ): 激活函数,如Sigmoid、ReLU等. 举例如下: - 输入层到第一个隐藏层之间的转换: \[ z_1=W_1 X+b_1 \\ a_1=g(z_1)=g(W_1X+b_1) \] 这里, - \( X \) 是整个训练集中所有样例组成的矩阵形式; - \( W_1 \) 是从输入层映射至第一隐藏层时使用的权值参数; - \( b_1 \) 则为对应的偏置参数; 继续推导下去,如果存在第二个隐藏层的话: \[ z_2=W_2 a_1+b_2\\ a_2=g(z_2)=g(W_2 g(W_1 X+b_1)+b_2 ) \] 以此类推直到到达输出层。 #### 输出层计算 当最后一个隐藏层之后来到输出层的时候,其基本运算依然遵循上面的形式: \[ Z_L=W_L A_{L−1}+B_L \] 如果是回归任务,那么可以直接使用 \( Z_L \) 或者对其施加某种归一化手段得到预测结果;而在分类问题中则一般还需要应用 Softmax 函数来生成概率分布: \[\hat{Y}=softmax(Z_L)\] 综上所述,这就是典型的前馈神经网络在逐层向前推进过程中所涉及的关键数学表达式及其意义。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值