神经网络与深度学习-笔记(1)——第四周

对数回归与多分类回归

       从概率角度二分类问题可使用条件概率描述：

因为是二分类，可假设输出为{0,1}。

        重新修改指标函数：

假设各样本相互独立，即服从伯努利（Bernoulli）分布。则的合理估计值应当是让所有样本事件产生的几率最大，即应当是极大似然的，因此取似然函数： 

感知机模型

        感知机（Perceptron）是在1957年时由Rosenblatt提出的，可以解决线性分类问题，是神经网络和支持向量机的基础。感知机可以用来解决线性分类问题：

 

感知机原理

        在方程为上的一点(x0,y0)，到直线的距离为：

 

训练过程

        线性可分参数迭代过程：

线性不可分参数迭代过程：

 感知机与神经元类比

多层感知机

XOR问题

        线性不可分问题：无法进行线性分类。Minsky 1969年提出XOR问题：

 多层感知机
          解决方案：使用多层感知机
        • 在输入和输出层间加一或多层隐单元，构成多层感知器（多层前馈神经网络）。
        • 加一层隐节点（单元）为三层网络，可解决异或（ XOR ）问题由输入得到两个隐节点、一个输出层节点的输出：

        三层感知器可识别任一凸多边形或无界的凸区域。
        更多层感知器网络，可识别更为复杂的图形。
        多层感知器网络，有如下定理：
        定理1：
        若隐层节点（单元）可任意设置，用三层阈值节点的网络，可以实现任意的二值逻辑函数。
        定理2：
        若隐层节点（单元）可任意设置，用三层S型非线性特性节点的网络，可以一致逼近紧集上的连续函数或按 范数逼近紧集上的平方可积函数。

多层前馈网络
        多层感知机（MLP）是人工神经网络中的一种，属于前馈神经网络的范畴。它由至少三层构成：输入层、一个或多个隐藏层以及输出层。在多层感知机中，信息的流动是单向的，从输入层流向隐藏层，然后到达输出层。

        输入层负责接收外部输入的数据，并将其传递给隐藏层。每个隐藏层的神经元会对输入数据进行加权求和，并加上一个偏置项，然后通过激活函数处理得到该神经元的输出。这个输出又会作为下一层神经元的输入。隐藏层可以有多个，它们的作用是提取输入数据的特征并进行非线性变换。

        输出层的神经元根据前一层的输出计算最终结果，同样涉及加权求和、偏置和激活函数。多层感知机的输出可以是分类标签、数值预测或者其他类型的数据。

        多层感知机的学习过程通常采用反向传播算法，该算法通过计算损失函数的梯度，并根据梯度下降原则调整网络中的权重和偏置，以最小化输出误差。

        全连接网络是多层感知机的一种特殊形式，其中除了输入层之外，每一层的神经元都与前一层的所有神经元相连。这种连接方式使得网络能够捕捉到输入数据之间的复杂关系。