神经网络（一）：神经元模型与逻辑回归

一、仿生学

在经典的机器学习领域，有很多不同类型的模型，它们大致可以分为两类：一类是比较注重模型可解释性的传统统计模型，比如线性回归和逻辑回归；另一类是侧重于从结构上“模仿”数据的机器学习模型，比如监督式学习SVM和非监督式学习KMeans。

这些模型虽然在结构和形态上千差万别，但它们有一个共同的建模理念，就是首先对数据做假设，然后根据这些假设进行数学推导，并最终得到模型的公式。其中最核心的部分就是模型的假设，它直接决定了模型的适用范围，也是模型效果的保障。这些模型不但能对未知数据做预测，还能帮助我们去理解数据之间的相关关系。

但神经网络或者深度学习是一种全新的建模理念，它并不关心模型的假设以及相应的数学推导，也就是说它并不关心模型的可解释性。这个理念的目的是借鉴仿生学¹的思路，利用计算机和数学模型去模拟人的大脑，因此，其中最核心的内容就是工程实现。从模型角度来讲，这种理念的建模起点是最终的模型公式，而模型效果的保障是，这样的模型能在一定程度上模仿大脑，而大脑是人类智能的基础。

这种理念下设计出来的模型有很多酷炫的名字，比如神经网络、人工智能以及深度学习等。这类模型虽然难以理解或者更准确地说，到目前为止人类还无法理解，但在某些特定应用场景里的预测效果却出奇得好，因此也常常引起争论。一部分人认为，目前的人工智能热只是一个泡沫，整个学科并没有实质性的突破；另一部分人认为人工智能已经在突破的前夜，在不远的未来，它将给人类带来巨大的便利；还有一部分人认为人工智能是极其危险的东西，我们正在创造一种新的具有智能的“生命”，也许在不远的未来，这种人造的智能会统治地球并最终毁灭人类，就像很多科幻电影里的情节那样。

以上这3种观点都有其道理²，本系列文章并不打算加入这种宏观议题争论，而是采取中立立场讨论相关的技术细节和发展趋势。相信读者通过这个系列的文章了解了人工智能的基础知识后，会对上面的话题有自己的观点。

二、神经元

由于神经网络的模拟对象是人的大脑，那么在讨论具体的模型之前，我们有必要先从生物学的角度来看看人的大脑有哪些特性。

根据生物学的研究，人脑的计算单元是神经元（neuron）。它能根据环境变化做出反应，再将信息给其他的神经元。在人脑中，大约有860亿个神经元，它们相互联结构成了极其复杂的神经系统，而后者正是人类智慧的物质基础。因此遵循人脑的生物结构，我们首先需要搭建模型来模拟人的神经元。

如图1所示，一个典型的神经元由4个部分组成。

• 树突：一个神经元有若干个树突，它们能接收来自其他神经元的信号，并将信号传递给细胞体。
• 细胞体：细胞体是神经元的核心，它把各个树突传递过来的信号加总起来，得到一个总的刺激信号。
• 轴突：当细胞体内的刺激信号超过一定阈值之后，神经元的轴突会对外发送信号。
• 突触：该神经元发送的信号（若有）将由突触向其他神经元或人体内的其他组织（对神经信号做出反应的组织）传递。需要注意的是，神经元通常有多个突触，但它们传递的信号都是一样的。

图1

将上述的神经元结构抽象成数学概念，可以得到如图1所示的神经元模型。

• 模型的输入是数据里的自变量，比如图中的$x_1,x_2,x_3$。它们用圆点表示，对应着神经元里的树突。
• 接收输入变量的是一个线性模型，在图中用正方形表示。这个线性模型对应着神经元的细胞体。值得注意的是，对于神经元中的线性模型，我们将模型中的权重项和截距项特意分开，用表示权重$w_i$，用$b$表示截距³。

• 接下来是一个非线性的激活函数$f$（activation function），它将控制是否对外发送信号，在图中用三角形表示，对应这神经元里的轴突。在神经网络领域，常常用一个圆圈来概括地表示线性模型和激活函数，并不将两者分开，在本系列文章中，我们将沿用这一记号。
• 将模型的各个部分联结起来得到最后的输出$f({\sum }_i{w}_i$