【无标题】

神经网络和深度学习(1)

1. 线性分类与感知机

定义：利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。需要训练集，模型(拟合的函数)及其训练维度

假设一个二维线性函数：



线性二分类问题：

定义：线性分类器则透过特征的线性组合来做出分类决定，以达到此种目的。简言之，样本通过直线(或超平面)可分
线性分类与线性回归差别：
输出意义不同：属于某类的概率<->回归具体值
参数意义不同：最佳分类直线<->最佳拟合直线
维度不同：前面的例子中，一个是一维的回归，一个是二维的分类

对数回归与多分类回归

二分类问题可使用条件概率描述：

重新修改指标函数：对其最小化有：

假设各样本相互独立，即服从Bernoulli分布。则的合理估计值应当是让所有样本事件产生的几率最大，即应当是极大似然的，因此取似然函数：


对于有𝑘个标记的分类问题，分类函数如下：

因为是多分类，所以需要多个分割超平面，因此有：

多层感知机

针对线性不可分问题，我们在输入和输出层间加一或多层隐单元，构成多层感知器（多层
前馈神经网络），加一层隐节点（单元）为三层网络，可解决这类问题

BP算法概述

多层感知机是一种多层前馈网络，由多层神经网络构成，每层网络将输出传递给下一层网络。神经元间的权值连接仅出现在相邻层之间，不出现在其他位置。如果每一个神经元都连接到上一层的所有神经元（除输入层外），则成为全连接网络
多层前馈网络的反向传播 （BP）学习算法，简称BP算法，是有导师的学习，它是梯度下降法在多层前馈网中的应用。
网络结构：见图，𝐮（或𝐱 ）、𝐲是网络的输入、输出向量，神经元用节点表示，网络由输入层、隐层和输出层节点组成，隐层可一层，也可多层（图中是单隐层），前层至后层节点通过权联接。由于用BP学习算法，所以常称BP神经网络：