简明神经网络原理1

好吧，我还是觉得做一个适当的复盘比较合适。我发现细说一个概念的话之后更容易快速拾起。这里我将完全用自己的语言进行阐述。

神经网络是什么？

对人脑神经的抽象。

人脑中每个神经功能其实都很简单，但是一起就构成了复杂的网络，分析出很多问题。他们的连接方式不同，也会由不同的效果。本质上，它是一种自适应的系统。比较非线性，可以对输入和输出的复杂关系建模，或者探索数据关系。

我们通常用神经网络来分类。实际上人最通常也是这么做的。“黄色的，这个形状的，这个大小的，是成熟的香蕉。”这就是分类的一个小应用。我们难以感知事物的动态变化，比如小明平时爱打电动逃学，那么我们不可以预料到他将要考多少分，我们只知道他是个传统意义上的”坏孩子“，很可能考一个不高的成绩，很可能不及格。可能就是一个分类概率，我们可以用概率进行逻辑分类，这是我们的大脑的工作原理。

那么现在我们人类有把这个仿造的模式用于什么方面呢？图像分类、垃圾邮件、疾病判断、语音分类···这些分类问题，通常耗费大量的时间或者人力，或者存在只有少数专家才能准确判断的问题。也就是：脑残的耗费生命的分类或者高级的我们难以判断的分类。前者是为了让社会进步做出的效率优化，后者是为了让社会进步做出的智力方案优化。至少我是这么理解的。

我们基于什么做分类，基于特征。比如：满足黄色特征的更有可能是香蕉，满足弯曲+黄色特征的更更有可能是香蕉。我们人的分类机制把黄色归为颜色特征，把弯曲归为形状特征。这些特征都存在大脑的记忆单元，需要的时候调出来这个框架（比如判断水果我们用颜色+形状的框架），我们往里面填充内容（黄|弯），利用我们的神经元组合进行判断输出。（下图只是示意图，不代表真实大脑，只代表我所理解的运行情况，我不是学医或者相关的，只是为了辅助理解）

那么特征怎么准确地表示呢？对计算机来说，颜色我们都知道用一个色表一样的东西可以输出，美术生或者用过一些软件的人，甚至挑选口红的人，都可以用数字描绘颜色。一般计算机用rgb（0-255，0-255，0-255）表示颜色（当然你也可以把它理解为在坐标系上的一个向量），弯曲程度也可以用角度表示。那么我们组合两个信息，是不是可以用一个矩阵来表示呢？（举个不太恰当的例子，如下）

于是我们就有了特征、特征向量、特征矩阵的概念。
我们高中生物都学过突触导通或者不导通的题目。那么其实我们也可以很容易把神经细胞简单地看作有两个状态的机器：导通orNot，或者“激活”orNot。激活取决于从其他细胞接收到的信号量，取决于突触的性质···这其实可以表示为一个函数关系。这个函数关系包含：信号阈值、接收程度（也就是根据什么形式给到突触信号，突触的敏感程度函数）。由此我们有了激活函数的概念。

神经元间如何联动？接收其他神经元传入的信号进行汇总。总信号输入激活函数进行激活判断，按照激活函数把信号输出（输出为负或者为0或者为1，或者区间内任意值）。汇总方式？根据权重。比如自行车的是否判断可能轮子数量的特征占比大点，接受这个的信号也应该更强，那么权重就高。这样理解的话，权重的概念也理解了吧。

通常我们拿到的信息不是完全五五开分布的，比如有三个因素，天气、地点、有没有车，我们并不是满足三个因素才决定去半远不近的地方旅游，可能满足两个就去，所以我们可以加偏置，让激励函数更合理。（激励函数一般不变，就像突触种类有限，信号量也不会发生神奇的变化，但是情况可能更具多样性，我们通过调整偏置相当于动态地改变激励函数的阈值，所以很多时候偏置也叫阈值）。

然而，我们的权重和阈值不要太离谱，要有个界限，不然太不可控了。我们把他们归一化（当然你归几化都是可以的，归一比较大众化而且听起来也比较哲学——“万物归一”，有点这种感觉）。归一能保证信息的稳定（输入和输出，信号的平坦等等）

先说到这里，大家对神经网络也有了一个初步的理解了。具体数学原理我相信很多地方都找得到，但是系统化的理论讲解真的很少有。当然我讲的也不是全对，只是刚好把这些零散的概念比较合理地串起来啦。

转自我的博客（https://votaveruno.blogspot.com/2020/12/1.html），主要是给学弟学妹们入门的，今天写完初稿先放过来。