【机器学习】P11 神经网络

生物神经元

人类如何思考？

神经科学${}^{[1]}$ 研究表明，神经元 是人类思考的基本单元。神经元是大脑中最基本的信息处理单元，它们通过复杂的电信号和化学信号传递来进行信息处理和传递。每个神经元都有一个细长的 轴突 和多个 树突：

• 树突接收其他神经元传来的信号（输入）；
• 轴突则将信号传递到其他神经元或肌肉和腺体等器官（输出）。

神经元之间的连接和信号传递构成了大脑中复杂的神经网络。这些神经网络可以实现感知、思考、决策和控制等各种功能，形成了大脑复杂的行为和认知表现。因此，神经元在人类思考和认知过程中发挥了关键作用。

而人脑中的神经元数量是一个长期备受争议的问题，因为确切的数字难以精确测量。不过，根据目前的科学研究，人脑中大约有1000亿到10000亿个神经元。

每个人脑神经元与其他神经元的连接数量是不固定的，这取决于神经元所在的脑区和其功能。有些神经元可能只连接几个其他神经元，而另一些神经元可能会连接数千个甚至更多的其他神经元。

根据研究，一些人脑区域中的神经元可以与数千个其他神经元相互连接。例如，在大脑皮层的某些区域中，一个神经元可以与多达10000个其他神经元相互连接。然而，在其他脑区，神经元之间的连接可能会更为稀疏，每个神经元只连接数百或数千个其他神经元。

总体来说，人脑中神经元之间复杂的连接模式和拓扑结构是大脑功能和认知行为的基础，这种复杂的连接模式也是人工神经网络模型中所试图模拟和学习的。

简化来说，人脑神经元网络中的一个神经元，可以看作通过 突触 收到 n 个神经元的输入，激活神经元，然后发出一个电冲动，通过 轴突、突触 传递到其他神经元作为其他神经元的输入；

即：
$$g(f_{\vec{w},b}(x^{(i)}))=g(\vec{w}\cdot \vec{x}+b)$$
其中：

$g(z)$ 为激活函数，$f_{\vec{w},b}(x^{(i)})$ 代表着每个神经元与 $x.shape$ 个其他神经元通过突触建立联系，最终产生一个结果 $g(f_{\vec{w},b}(x^{(i)}))$。这个结果通过轴突、神经末梢的突触与其他神经元连接，作为本神经元的输出、以及其他神经元的输入。

---

人工神经网络

“人工神经网络”（Artificial Neural Network，缩写为ANN）的设计灵感来源于生物神经元和突触的连接方式，它尝试通过建立多个神经元之间的连接来实现类似于生物神经系统的信息处理和学习能力。通过训练数据来学习从输入到输出之间的映射关系。

上图中，每一个圆都是一个神经元，接收来自其他 n 个神经元的输入，输出一个结果，作为下一层其他神经元的输入。

所谓神经网络的层：

神经网络每一层都有自己的一组神经元，并与上一层和下一层的神经元相连，形成一个完整的神经网络。神经网络层次包括：

1. 输入层（Input layer）：接受来自外部的输入数据，并将其传递到下一层进行处理。
2. 隐藏层（Hidden layer）：在输入层和输出层之间，通常包含多个中间层。隐藏层的神经元会根据输入层的数据进行加权处理和激活，产生新的输出信号，并传递到下一层。
3. 输出层（Output layer）：输出层是神经网络的最后一层，将处理后的数据输出给外部。

需要注意的是，我们平常说一个人工神经网络包括多少层时，指的是：
$$神经网络层数=隐藏层层数+输出层层数$$

注意不包含输入层。

拓展 在一些特殊的神经网络（比如卷积神经网络，用于处理复杂图像）结构中，还可能包括其他类型的层，例如：

• 卷积层（Convolutional layer）：用于处理图像和视频等数据。
• 池化层（Pooling layer）：用于减小数据规模和特征数量，降低计算复杂度。
• 循环层（Recurrent layer）：用于处理序列数据，例如语音和文本。

后期内容会一一展开，现在需要建立的是神经网络的一个整体框架。

---

总而言之：

神经网络在许多领域中被广泛应用，包括图像识别、自然语言处理、语音识别、自动驾驶和金融预测等。在过去的几十年中，随着计算能力和数据量的增加，神经网络已经取得了许多重要的进展，并且成为了人工智能领域中最受欢迎的技术之一。

---

Reference

[1]. Azevedo, F. A., et al. “Equal numbers of neuronal and nonneuronal cells make the human brain an isometrically scaled-up primate brain.” Journal of Comparative Neurology 513.5 (2009): 532-541.

[2]. Peters, Andrew, and Sethu Sankararaman. “The scaling of the number of neurons in the cortex and cerebellum with body size in mammals.” Brain, Behavior and Evolution 52.3 (1998): 121-130.

[3]. Braitenberg, V., and A. Schüz. Cortex: Statistics and geometry of neuronal connectivity. Springer Science & Business Media, 2013.

[4]. Perin, Rodrigo, et al. “Topological determinants of epileptogenesis in large-scale structural and functional models of the dentate gyrus derived from experimental data.” Journal of Neuroscience 31.11 (2011): 4076-4088.

[5]. Herculano-Houzel, Suzana. “The human brain in numbers: a linearly scaled-up primate brain.” Frontiers in human neuroscience 3 (2009): 31.