关于神经网络

目录

理论:

神经网络的结构:

公式推导:

构造损失函数:

求偏导:

代码实现:


理论:

神经网络的结构:

神经网络是由众多简单的神经元连接而成的一个网络,神神经元如下图:

图中输入可以理解为上一l个神经元传递过来的一个刺激,权重会影响刺激的大小,(其中权值越大,对数据的影响也越大,权重也可以是负值,此时是抑制)也就是传递数据的大小,输入是有多个输入的,多个输入与对应权值相乘求和,再经过激活函数处理,讲求和的结果规范到0-1这个范围中,然后通过这个概率判断是否激发下一个神经元。通过调整权值可以得到固定输入下需要的输出值。调整权值的过程也是“学习”和"训练“的过程。

公式推导:

   有这个图为例,1,2代表两个输入值,它两是输入层,y_{1}=w_{1}x_{1}+w_{2}x_{2} ,y_{2}=w_{3}x_{1}+w_{4}x_{2}

经过sigmoid 函数的处理后将数据传入中间层:sigmoid函数为:f(x)=\frac{1}{1+e^{-x}},中间层的输出为:y=w_{5}f(y_{1})+w_{6}f(y_{2}),最后的输出层:f(y)=\frac{1}{1+e^{-y}}.,最后得到的发f(y)是预测值。

构造损失函数:

 损失函数一般是预测值与实际的差的平方乘以1/2得到,乘以1/2是方便下面的求导。损失函数为:loss=\frac{1}{2}(f(y)-y)^{2}.

求偏导:

用损失函数对各个权值求偏导,在利用梯度下将法不断修改各个权值,使得最后得到的预测值接近实际值。

 利用公式w_{new}=w_{old}-\eta *\frac{\partial loss}{\partial w},不断进行迭代,最终使得预测值与真实值最接近。

代码实现:

很高兴您对神经网络剪枝感兴趣,以下是关于神经网络剪枝的研究背景,答案如下: 近年来,神经网络的应用领域越来越广泛,尤其是在图像和语音识别等领域。然而,神经网络的高计算以及存储需求限制了其在嵌入式设备等资源受限环境中的应用。针对这个问题,剪枝技术被提出,旨在减少神经网络的大小以及计算量,从而实现更高效的部署。 神经网络剪枝技术最初可以追溯到20世纪90年代。但是,由于网络结构设计和训练方法的限制,这些早期的方法并未达到预期的剪枝效果。然而,随着神经网络的不断发展以及计算能力的提高,剪枝技术得到了越来越多的关注。 在2015年,Han等人提出了“稀疏连接”这一概念,将稀疏性与神经网络的剪枝相结合。随后,Luo等人在2017年提出了一种基于逐通道剪枝的方法,这种方法只剪枝图像的输入和输出通道,而不剪枝中间通道,有效地提高了神经网络的稀疏度。在2018年,Guo等人提出了一种改进的方法,该方法使用特征重要性度量来指导神经网络的剪枝,取得了更好的准确性和更小的模型大小。 除了这些基于规则的剪枝方法外,还有一些基于学习的剪枝方法,例如能够可持续减少网络大小的连续剪枝和一次性剪枝。这些方法采用了一定的约束条件来指导网络的剪枝,有可能比基于规则的方法更加适用于不同类型的数据和任务。 总的来说,神经网络剪枝的研究一直在不断发展,越来越多的学者和工程师开始关注剪枝技术的应用和改进。神经网络剪枝技术已经成为神经网络高效部署的重要手段,它将在未来的研究和应用中发挥着越来越重要的作用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值