多层感知机神经网络与损失函数 笔记

1.算法背景

使用算法模拟人脑进行智能运算的结构与模型被称为神经网络。

人工神经网络简称神经网络，是一种模拟生物神经网络的算法结构与模型。人工神经元主要使用函数来模拟神经元对信息的处理过程。

在神经网络中，神经元不是单个出现的，一个神经元的输入可以来源于外界，也可以来源于上一个神经元。

2.算法原理

2.1神经元

神经网络的基本的单位是神经元，每个神经元都有输入并产生单个输出。这个输出可以发射到多个其他的神经元。

2.2激活函数

激活函数是神经网络中神经元的非线性变换函数。

它的主要作用有以下几点：

引入非线性：神经网络如果只由线性层组成，那么无论有多少层，整体仍然是一个线性模型，其表达能力有限。激活函数为网络引入了非线性，使得网络能够学习和拟合复杂的非线性关系，从而大大增强了网络的表达能力。(就是把这个曲线变弯)

增加模型的灵活性：不同的激活函数具有不同的特性，可以根据具体问题选择合适的激活函数，以增加模型的灵活性和适应性。

控制输出范围：一些激活函数可以将神经元的输出限制在特定的范围内，例如 sigmoid 函数将输出限制在 0 到 1 之间，tanh 函数将输出限制在 -1 到 1 之间。这有助于稳定训练过程和控制输出的尺度，防止一些爆炸的输出。

2.2.1 跃迁激活函数

我们最初的模型时M-P模型，它模拟的大脑只有兴奋和抑郁两个状态，也就是1和0，它是一种阶跃函数，也就是说输出值只有0或1。

举一个例子，我们认为温度到46°，手会感觉到烫手，那么我加入激活函数后，我如果在43°就感觉烫手时，我可以把手拿开。让我们的输出结果出现一些非线性的结果。所以我们改进了激活函数。使用阶跃函数会导致一个问题就是，在温度低于某一个值时，我的手还在摸水壶，当温度高于一定值时，我的手忽然离开，但是这样会导致输出结果的突变。

2.2.2 sigmoid激活函数

sigmoid函数主要是让输入的范围映射到0-1之间，当输入值过大时，可以让它的输出无限接近于1，输入值过小时可以让他无限接近于0。sigmoid可以防止信号的突变。

2.2.3 softmax激活函数

softmax函数主要用于解决分类问题。

softmax函数是sigmoid函数的一个改版，它可以将所有的输出映射成概率的形式，也就是值在【0,1】范围内并且总概率和为1。也就是值在【0,1】范围内并且总概率和为1。也就是值在【0,1】范围内并且总概率和为1。（softmax函数和sigmoid函数的主要差别。）

2.2.4 tanh激活函数

tanh激活函数也是sigmoid函数的一个改版，但他是映射到【-1,1】（sigmoid函数是映射到【0,1】之间），与sigmoid函数相比，它的输出均值为1，这也让他收敛速度比sigmoid快，它可以大幅减少迭代速度。

（我这边不知道啥是tanh函数的幂运算问题，我现在一知半解。）

2.2.5 ReLU激活函数

以上所有的激活函数都运用了指数，这也可能会导致出现一种指数爆炸的增长，为了解决这个问题，研究人员们设计了ReLU激活函数。它可以很好解决梯度消失和梯度爆炸问题。

ReLU函数是目前使用最频繁的激活函数，当输入x<0时，它的输出是0，x>0时，它的导数为1。

3.多层神经网络模型

单层感知机模型因为激活函数只有两个输出，所以一般用于二分类问题，我们可以把多个单层感知机模型组合起来，加上激活函数，就可以实现从输入到输出的任意非线性的映射。

我们把多个单层感知机融合起来，就合成了多层感知机，也被称为MLP、

多层感知机是神经网络的一种。

多层感知器的本质就是一个前馈人工神经网络模型，也是一下深度学习算的核心组件之一。

抽象地说 多层感知器是一系列连接的节点，每一个节点代表一个函数。

目前感知器建议使用在一些二元目标使用svm变量逻辑回归或分类问题中使用中。

多层感知器的优点在于它在处理一些其他领域的分类和回归问题时非常强大。

多层感知器对分类目标遍历和连续目标效果好

多层感知器适合对训练过程大量控制，或者有很多超参数需要处理的情况。

多层感知器不适用一些图片分类或者时间序列等，这些使用神经网络更合适。

当目的是为了标记一些信号或者预言时，多层感知器就不再适用。

当需要快速标记分支模型时，多层感知器不再适用。

当可用数据受限时，多层感知器不再适用。

MLP它的运行过程可以分为正向传播过程和反向传播过程。前向是指从输入层开始计算从输入层到输出层的过程，反向传播则是反向传播算法，是指通过神经网络反向降低误差调节神经网络的过程。