神经网络

网络结构：

每一个节点所做的工作：

1、将输入的值（原始输入或者上一层的输入）进行线性组合

2、使用激活函数进行非线性处理

逻辑回归（一种最简化的网络结构）：

中间的节点使用W和b参数对输入的x1、x2、x3进行线性化，然后通过激励函数得到激励后的预测值。

激励函数：

激励函数的作用是提供规模化的非线性化能力

三种基本的激励函数：

Sigmoid函数：

变化区间为0~1，优点是在整个区间段可导，缺点是在坐标系上不是中心对称的。

tanh函数：

对Sigmoid函数进行平移得到的，使用该函数不需要使用数据中心化，使得表现更好。

上述两个函数的共同缺点是：

在x比较小或者比较大的时候，其学习速率较慢。

ReLU函数：

效率更高，但是其在0处的导数会导致问题，所以可以对其进行改造。其是目前使用较多的激励函数。

损失函数：

用于评价学习出来的y值与真实的y值之间的差异。

图示的函数是单次训练损失的计算公式：

y^是学习到的值，y是原始的值

全部训练的损失：

梯度下降：

由于真实学习的y与实际的y存在差异，所以，要以此根据损失函数来调整w和b以使得损失函数达到局部最小值，从而使学习的输出y更靠近实际的输出y，这是一个过程，需要多次对w和b进行调整，以达到最优值。

α是为了不使得一次的求导对w的影响太大。

网络向量化（神经网络的向前传播、神经网络的运算、神经网络的预测）：

网络梯度下降（反向传播）：

以上来自慕课网网课