学习《神经网络与深度学习》笔记2

最新推荐文章于 2021-04-23 11:59:57 发布

颜值为0

最新推荐文章于 2021-04-23 11:59:57 发布

阅读量251

点赞数

分类专栏：机器学习笔记

本文链接：https://blog.csdn.net/Buringzhb/article/details/90489927

版权

本文介绍了S型神经元在网络中的作用，它能够输出0到1之间的任意值，相较于感知器，更适合处理连续性问题。S型神经元的激活函数是sigmoid函数，其输出可以被视为判断的概率。神经网络通常包含输入层、隐藏层和输出层，前馈神经网络中信息单向传递，无回路。

摘要由CSDN通过智能技术生成

2019年5月23日晚上十点
S型神经元
现在我们试图对于感知器网络中的权重和偏置进行一个微小的改动，试图只是引起输出一个微小的变化。例如对于手写体输出的识别，其中网络错误的将一幅“9”的图像识别成“8”的图像，我们尝试着通过对于权重和偏置微小的调整矫正这个错误。但是当我们这个网络是感知器网络的时候，这种情况是做不到的，相反的，对于这样一个微小的改动有时候会引起感知器输出的完全翻转，0变1或者1变0，这样的话，当前网络在其他图像上的行为就会以一种很难控制的方式被完全改变。这是我们引入一种被称为S型神经元的新型网络单元组成网络。S型神经元同样可以接受很多输入，但是和感知器不同的是，感知器的输出只能是0或者1，但是S型神经元的输出可以是0到1之间的任意值，不限于0和1这两个值。而神经元的输出定义为在这里插入图片描述
其中x = w * 输入 + b，w为权重，b为偏置。如果有一组输入x1，x2，x3…，一组权重w1，w2，w3…，则S型神经元的输出为1/（1+exp（-∑wjxj - b））。设z=wx+b,当z是一个很大的正数时，exp(-z)≈0，σ(z)≈1，S型神经元的输出接近于1：相反的，当z是一个很小的负数时，exp(-z)趋近于无穷，σ(z)≈0，这样在这两种极限情况下，S型神经元的行为类似于一个感知器，但是在输入取中间值的时候，就不同于感知器。
当神经元的激活函数时sigmoi