神经网络学习之一——M-P模型

神经网络学习之一——M-P模型

M-P模型是什么?

M-P模型是于1943年美国神经生理学家沃伦 麦卡洛克(Warren McCuloch)和数学家沃尔特 皮茨(Walter Pitts)提出,是首个通过模仿神经元而形成的模型,结构图如下所示。M-P 模型结构
表达式为式(1),其中设各节点权重之和为s,表达式为式(2)
在这里插入图片描述
表达式解析:
表达式解析

M-P模型的规则

结合STEP激活函数,当所有输入与对应的连接权重的乘积之和s大于阈值h,则输出y=1,否则输出y=0。其中xi取值为0或1,wi和h根据情况自行设置。
STEP激活函数

M-P模型的规则的应用

通过动手设置wi和h,可以实现基本逻辑运算,包括逻辑与(AND)、逻辑或(OR)和逻辑非(NOT)。

1、逻辑非运算 NOT

非运算是单输入和单输出,结构图如下:
在这里插入图片描述
对应表达式为:
在这里插入图片描述
下面将根据逻辑非运算进行模型的确定。
在这里插入图片描述

2、逻辑或运算 OR

或运算以两个输入为例,结构图如下:
在这里插入图片描述
对应表达式为:
在这里插入图片描述
下面将根据逻辑或运算进行模型的确定。
根据逻辑非运算原理:两个输入均为零,则输出为0 ,否则输出均为1。
在这里插入图片描述
逻辑与运算与逻辑或一致,可自己验证。

3、逻辑异或

特别需要注意的是,M-P无法实现异或运算
逻辑异或运算原理:
在这里插入图片描述
在这里插入图片描述
经验证,M-P模型无法实现异或运算。

总结

M-P模型可以实现逻辑非、或和与运算,但是不足之处权重参数和阈值需要人为通过运算手动设置,下一讲将介绍参数的自动调整,即感知器的相关内容。
如果想找到更多文章,还可关注公众号“小黄有点忙”。
在这里插入图片描述

  • 6
    点赞
  • 37
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
M-P模型是一种经典的神经网络模型,它由多层感知机(Multi-Layer Perceptron,简称MLP)和一个softmax输出层组成。最速下降法是一种常用的优化算法,可以用于训练神经网络。sigmoid函数是一种常用的激活函数,可以将神经元的输出限制在0到1之间。 结合最速下降法和sigmoid函数设计M-P模型的具体步骤如下: 1. 确定模型的输入层和输出层。输入层的神经元数量应该与输入数据的特征数量相同,输出层的神经元数量应该与类别数量相同。 2. 确定隐藏层的数量和每个隐藏层的神经元数量。隐藏层的数量和神经元数量可以根据实际问题进行调整,通常情况下,隐藏层数量越多,模型的表达能力越强。 3. 初始化模型的权重和偏置。可以使用随机数进行初始化,初始化范围可以根据实际问题进行调整。 4. 定义损失函数。M-P模型通常使用交叉熵作为损失函数,可以将其表示为: $J(W,b)=-\frac{1}{N}\sum_{i=1}^{N}\sum_{j=1}^{K}y_{ij}log\hat{y}_{ij}$ 其中,$W$和$b$分别表示模型的权重和偏置,$N$表示样本数量,$K$表示类别数量,$y_{ij}$表示第$i$个样本的第$j$个类别的真实标签,$\hat{y}_{ij}$表示模型对第$i$个样本的第$j$个类别的预测值。 5. 使用最速下降法更新模型的权重和偏置。具体来说,可以根据以下公式更新: $W^{(t+1)}=W^{(t)}-\alpha\frac{\partial J(W^{(t)},b^{(t)})}{\partial W^{(t)}}$ $b^{(t+1)}=b^{(t)}-\alpha\frac{\partial J(W^{(t)},b^{(t)})}{\partial b^{(t)}}$ 其中,$t$表示第$t$次迭代,$\alpha$表示学习率,$\frac{\partial J(W^{(t)},b^{(t)})}{\partial W^{(t)}}$和$\frac{\partial J(W^{(t)},b^{(t)})}{\partial b^{(t)}}$分别表示损失函数对权重和偏置的梯度。 6. 对模型进行预测。可以使用softmax函数将模型的输出转化为概率值,即: $\hat{y}_{ij}=\frac{e^{z_{ij}}}{\sum_{k=1}^{K}e^{z_{ik}}}$ 其中,$z_{ij}$表示第$i$个样本在第$j$个神经元上的加权和,可以表示为: $z_{ij}=\sum_{k=1}^{d}w_{jk}^{(2)}\sigma(\sum_{l=1}^{m}w_{kl}^{(1)}x_{il}+b_{k}^{(1)})+b_{j}^{(2)}$ 其中,$w_{jk}^{(2)}$表示输出层第$k$个神经元和隐藏层第$j$个神经元之间的权重,$w_{kl}^{(1)}$表示隐藏层第$l$个神经元和输入层第$k$个神经元之间的权重,$b_{k}^{(1)}$表示隐藏层第$k$个神经元的偏置,$b_{j}^{(2)}$表示输出层第$j$个神经元的偏置,$\sigma$表示sigmoid函数。 7. 计算模型的准确率和损失值。可以使用交叉熵作为损失函数,使用准确率作为评价指标。 以上就是结合最速下降法和sigmoid函数设计M-P模型的具体步骤。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值