深度学习之路（1）神经网络的基本概念、结构和原理

最新推荐文章于 2024-07-31 18:25:57 发布

NO_1967

最新推荐文章于 2024-07-31 18:25:57 发布

阅读量1.3k

点赞数 7

分类专栏：深度学习之路文章标签：深度学习神经网络

本文链接：https://blog.csdn.net/NO_1967/article/details/118313138

版权

本文介绍了神经网络的基础知识，包括感知器模型、Sigmoid神经元以及学习和梯度下降的原理。通过感知器模型举例说明了其决策过程，讨论了感知器网络的构造。接着，探讨了Sigmoid函数作为激活函数的优势，解决了感知器输出的不连续性问题。最后，阐述了学习过程中的梯度下降法及其优化形式——随机梯度下降法，为神经网络的参数调整提供了理论基础。

摘要由CSDN通过智能技术生成

书籍参考

参考英文在线书籍 Neural Networks and Deep Learning 第一章。

介绍

为了解神经网络，我们从基本单元开始。为了解基本单元（神经元），我们从感知器和sigmoid神经元开始。对神经网络有了概念之后，我们再探究它如何利用训练数据学习。

注：为了编辑方便，文中变量可能跟插图公式不一致，用大写字母表示矢量，小写字母表示标量，下标T表示转置。

一、感知器（Perceptrons）

感知器是一种人工神经元。下图是一个感知器，可以理解为一个函数f(X)，根据输入参数计算输出结果。下图感知器的输入参数有三个：x₁，x₂，x₃，输出参数仅有一个，且只可能是0或1. 它是怎么计算的呢？
给一组输入参数x₁，x₂，x₃（矢量形式可表示为X），感知器会对每个x_j乘以一个权重，将乘积加一起，权重值分别为w₁，w₂，w₃（矢量形式可表示为W），故乘积加在一起（加权和）为sum = ∑w_jx_j = WX。其中，权重存储于感知器，有多少输入参数x_j就有多少权重值w_j。另外感知器还存储一个阈值threshold，加权和sum跟阈值threshold的大小关系决定输出。输出公式很简单：
当sum > threshold时，输出1；
当sum <= threshold时，输出0.
白话说就是，当输入参数的加权和大于阈值时，输出1，否则输出0.

1. 感知器模型举例

假如你想明天请假不想上班，但没下决定，考虑如下3个问题：

明天天气是否好？
明天身体状况是否好？
明天是否有重要会议？

感知器可以帮你做决定！假设上述每个问题的肯定回答是1，否定回答是0。将3个回答作为感知器入参，感知器对每个入参赋予一个权重。
假设权重分别为3，4，2，上班阈值为4（大于4才上班）。此时身体状况对你决策的影响最大，天气其次，重要会议最后。
先看一种情况：天气好，身体状况不好，没有重要会议。
此时，加权和为3 + 0 + 0 = 3 < 4，小于上班阈值，所以请假。
再看一种情况&#x