深度学习与神经网络第4周总结

一、神经网络与人工智能概述

人工智能是一个概念性而非形式化定义，包含多种方法论： ◼ 仿生角度：模拟自然生物信息处理过程（神经网络、深度学习） ◼ 符号学角度：用统计概率、数理逻辑、博弈搜索等实证（机器学习） ◼ 行为学角度：以控制论实现机器自我进化（自动控制、强化学习） ◼ 交叉角度：上述多种角度的合成

神经网络是一种受到人类神经系统启发的计算模型，用于机器学习和人工智能领域。它由大量简单单元（神经元）组成，这些神经元通过连接传递信息。每个神经元都接收来自其他神经元的输入信号，通过加权和激活函数的计算，产生输出信号，并将其传递给下一层神经元。

二、线性分类与感知机

线性分类定义：

利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法

要素：训练集(training set)，输出数据。拟合的函数（或者称为假设或者模型），训练数据的条目数(#training set)

线性二分类问题：

定义：线性分类器则透过特征的线性组合来做出分类决定，以达到此种目的。简言之，样本通过直线(或超平面)可分。
线性分类器：
输入：特征向量；
输出：哪一类。如果是二分类问题，则为0和1，或者是属于某类的概率，即0-1之间的数。
线性分类与线性回归差别：
输出意义不同：属于某类的概率<->回归具体值
参数意义不同：最佳分类直线<->最佳拟合直线
维度不同：前面的例子中，一个是一维的回归，一个是二维的分类。
思路：构造这条二分类的“分界直线”。
方法：梯度下降法。

感知机：

感知机(Perceptron)是1957年，由Rosenblatt提出，是神经网络和支 持向量机的基础。

单神经元模型：

作用函数：非对称型Sigmoid函数 (Log Sigmoid)，对称型Sigmoid 函数 (Tangent Sigmoid)，对称型阶跃函数

三、多层前馈网络与误差反传算法

多层感知器网络

定理1 若隐层节点（单元）可任意设置，用三层阈值节点的 网络，可以实现任意的二值逻辑函数。 定理2 若隐层节点（单元）可任意设置，用三层S型非线性特 性节点的网络，可以一致逼近紧集上的连续函数或按 范数逼近紧 集上的平方可积函数

多层感知机是一种多层前馈网络，由多层神经网络构成，每层网络将 输出传递给下一层网络。神经元间的权值连接仅出现在相邻层之间， 不出现在其他位置。如果每一个神经元都连接到上一层的所有神经元 （除输入层外），则成为全连接网络。

BP算法

BP算法指的是反向传播算法（Backpropagation Algorithm）。它是一种用于训练神经网络的常见算法，通过调整神经网络中的权重和偏置，使网络的输出接近于预期的输出。

反向传播算法的基本思想是利用梯度下降法来最小化神经网络的误差函数。分为2步：

1. 前向传播（Forward Propagation）：在此步骤中，输入数据通过神经网络，经过一系列计算和激活函数的处理，得到网络的输出。

2. 反向传播（Backward Propagation）：在此步骤中，计算网络输出与实际目标之间的误差，并沿着网络反向传播这个误差，以计算每个参数对误差的贡献程度（即梯度）。然后，根据梯度的方向和大小，调整网络中的权重和偏置，以减小误差。