Neural Networks and Deep Learning习题解答--Sigmoid neurons simulating perceptrons

最新推荐文章于 2021-10-04 17:17:56 发布

剪刀不加香菜

最新推荐文章于 2021-10-04 17:17:56 发布

阅读量912

点赞数 2

分类专栏：机器学习文章标签：深度学习 sigmoid 神经网络

本文链接：https://blog.csdn.net/weixin_39704651/article/details/91044369

版权

机器学习专栏收录该内容

13 篇文章 3 订阅

订阅专栏

神经网络与深度学习习题解答

最近在看 Michael Nielsen的Neural Networks and Deep Learning，这本书是以网页的形式放在网上，非常合适入门，附上传送地址：http://neuralnetworksanddeeplearning.com/chap1.html#perceptrons

国内哈工大社会计算与信息检索研究中心将这本书翻译成中文版放在网络上，地址为：Neural Networks and Deep Learning中文翻译

该书sigmoid神经与一节有两个简单的小题，这里做个记录，欢迎讨论。

Sigmoid neurons simulating perceptrons, part I

Suppose we take all the weights and biases in a network of perceptrons, and multiply them by a positive constant, c>0. Show that the behaviour of the network doesn't change.

sigmoid神经元模拟感知机（第一部分)

对一个由感知机组成的神经网络，假设将其中所有的权值和偏置都乘上一个正常数，c>0 ，证明网络的行为并不会发生改变。

注意该题说的是感知机，感知机的输入为0或1，可以有多个输入，输出也为0或者1，只有一个输出。

输出满足：

$output = \left\{ \begin{array}{rcl} 0 & & {wx+b \leq 0}\\ 1 & & {wx+b > 0}\\ \end{array} \right.$

其中wx = w1x1+w2x2+w3x3+...，数字表示下标。在乘系数c之前wx+b>0或者wx+b<=0是确定的，那么c*(wx+b)的正负关系也是确定的，并且和乘以系数前相同，那么output就没有改变，原来是0现在也是0，是1现在也是1。

Sigmoid neurons simulating perceptrons, part II

Suppose we have the same setup as the last problem - a network of perceptrons. Suppose also that the overall input to the network of perceptrons has been chosen. We won't need the actual input value, we just need the input to have been fixed. Suppose the weights and biases are such that w⋅x+b≠0 for the input xx to any particular perceptron in the network. Now replace all the perceptrons in the network by sigmoid neurons, and multiply the weights and biases by a positive constant c>0. Show that in the limit as c→∞ the behaviour of this network of sigmoid neurons is exactly the same as the network of perceptrons. How can this fail when w⋅x+b=0 for one of the perceptrons?

sigmoid神经元模拟感知机（第二部分）

假设与上述问题相同的初始条件——由感知机构成的神经网络。假设感知机的所有输入都已经被选定。我们并不需要实际的值，只需要保证输入固定。假定对网络中任意感知机的输入x都满足w⋅x+b≠0。现在将网络中所有的感知机都替换为sigmoid神经元，然后将所有的权值和偏置都乘上一个正常数c>0 。证明在极限情况即c→∞下，这个由sigmoid神经元构成的网络与感知机构成的网络行为相同。同时想想当w⋅x+b=0时为何不是如此？

对于sigmoid神经元，可表示为 $\sigma (wx+b)$ 。其中输入x可以是0到1的任意浮点数，输出也是， $\sigma$ 表示sigmoid函数，该函数图像如下

当z=wx+b>0时函数值大于0.5，当z<0时，函数值小于0.5。当 $wx+b\neq 0$ 时，由图像可知，当c趋近于无穷，c*(wx+b)也趋近于无穷，且符号不变，则输出值为0或者1，这与感知机结果一样，感知机输出只有0或1，当wx+b>0的时候输出1，wx+b<0的时候输出0。因而极限情况下sigmoid神经元构成的网络与感知机构成的网络行为相同。