线性回归与BP神经网络

一、线性回归

线性回归是一种基本的预测建模技术，用于建立自变量与因变量之间的线性关系。该模型旨在找到一条最佳拟合直线，使预测值与实际值之间的误差最小化。线性回归模型的基本假设是，自变量和因变量之间存在线性关系，并且误差项服从正态分布。即利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

假设有m个训练样本，每个训练样本有n个自变量和一个因变量，回归模型假设函数为:

h(x)=θ0 + θ1x1 + θ2x2 + … + θnxn

其中，θ0, θ1, θ2, …, θn是待求的参数

价差误差向量为ε,每个样本误差，ε = h(x) - y

目标是最小化误差向量的平方和：

求解

可以得到：

其中，

二、梯度下降

梯度下降是一种用于求解最优化问题的迭代算法。在线性回归中，梯度下降算法用于寻找使代价函数最小化的参数。梯度下降的思路是通过不断调整参数，使代价函数不断减小。具体来说，对于目标函数J(θ)，在每次迭代中，梯度下降算法通过计算代价函数对参数的偏导数，找到使代价函数下降最快的方向，即梯度的反方向。然后，根据梯度方向和学习率α来更新参数，直到达到最小化代价函数的目标。在每一次迭代中，根据当前模型参数的梯度方向，调整模型参数的取值，直到误差平方和最小。

构造和

可以得到

梯度下降算法可能会陷入局部最优解，而无法达到全局最优解。因此，在使用梯度下降算法时，我们需要对学习率和迭代次数进行适当的调整，以避免算法陷入局部最优解。

三、BP神经网络

多层感知机是一种多层前馈网络，由多层神经网络构成，每层网络将输出传递给下一层网络。神经元间的权值连接仅出现在相邻层之间，不出现在其他位置。如果每一个神经元都连接到上一层的所有神经元（除输入层外），则成为全连接网络。多层前馈网络的反向传播 （BP）学习算法，简称BP算法，是有导师的学习，它是梯度下降法在多层前馈网中的应用。

网络结构：见图，𝐮（或𝐱 ）、𝐲是网络的输入、输出向量，神经元用节点表示，网络由输入层、隐层和输出层节点组成，隐层可一层也可多层（图中是单隐层），前层至后层节点通过权联接。由于用BP学习算法，所以常称BP神经网络。

适用范围：

BP神经网络的最大优点是具有极强的非线性映射能力，它主要用于以下四个方面：
(1)函数逼近：用输入变量和相应的输出变量训练一个网络以逼近某个函数；
(2)模式识别：用一个待定的输出向量将它与输入向量联系起来；
(3) 分类：把输入向量所定义的合适方式进行分类；
(4)数据压缩：减少输出向量维数以便传输或存储。

输入层（input layer）：常是指非线性可分的特征图的最前面的一层，它接收大量的非线性输入信号，并将它们转换为线性形式，以便于后续的处理。输入层的神经元数量通常很多，因为它需要接收尽可能多的输入信号，以便于后续的处理和分析。输入层的输入向量通常是大量的非线性特征值，它们需要经过一系列的处理，例如非线性变换、平移、缩放等，才能转换为线性形式。

隐藏层（hidden layer）：隐藏层不直接接受外界的信号，也不直接向外界发送信号。隐藏层在神经网络中的作用是将输入数据的特征，抽象到另一个维度空间，来展现其更抽象化的特征，这些特征能更好的进行线性划分。输出层将隐藏层激活转换为您希望输出所在的任何比例。

输出层（output layer）：神经网络的输出层是指最后一层，它将隐藏层的激活值作为输出信号，输出到外部世界。输出层的神经元数量和激活函数的数量可以根据具体问题和任务而定，通常情况下，输出层的神经元数量要少于隐藏层的神经元数量，而激活函数的数量要多于隐藏层的激活函数数量。

激活函数（active function）：激活函数是一类非线性函数，它将非线性特性引入到人工神经网络中，其主要作用是使用非线性的方法将神经网络模型中一个节点的输入信号转换成一个非线性输出信号，从而增强神经网络对非线性函数的拟合能力。常见的激活函数有sigmoid、tanh、relu、prelu、softmax。