Task5 神经网络基础

一、前馈神经网络

概念：前馈神经网络、网络层数、输入层、隐藏层、输出层、隐藏单元、激活函数

前馈神经网络（feedforward neural network），也叫作多层感知机（MLP），是典型的深度学习模型。前馈网络的目的是近似某个函数 f^ 。例如，对于分类器， y=f^(x) 将输入 x 映射到一个类别 y 。前馈网络定义了一个映射 y=f(x;t) ，并且学习参数t的值，使它能够得到最佳的函数近似。

1.前馈神经网络介绍

前馈神经网络，也叫作多层感知机MLP，是深度学习模型 ，前馈网络的目的是近似某个函数。例对于分类器，将输入映射到一个类别y.前馈网络定义了一个映射,并且学习参数的值，使它能够得到最佳的函数近似。

2.神经元模型介绍

x1,x2,x3代表输入，代表权重，b代表偏置，g代表非线性激活函数

z叫做带权输入，a叫做激活值，最神经元的输出。

3.神经网络的结构

前馈神经网络之所以被称为网络，是因为它们通常用许多不同函数复合在一起来表示，这个模型与一个有向无环相关联，而图描述是如何复合在一起的。

我们以下图为例子说明神经网络的结构。神经网络分为输入层，隐藏层和输出层。

前馈网络最前面的层称作输入层，最后一层称作输出层，中间既不是输入也不是输出的层叫做隐藏层。

下图是一个3层的神经网络，输入层不计入层数。神经网络的层数称为模型的深度，正是因为这个术语才出现了“深度学习”这个名字。每一层的节点都代表一个神经元（neuron），每层的单元数代表了模型的宽度。

 

二、感知机相关

1，超平面的定义

令w1，w2，…wn，v都是实数® ，其中至少有一个wi不为零，由所有满足线性方程w1x1+w2x2+…+wn*xn=v

的点X=[x1,x2,…xn]组成的集合，称为空间R的超平面。

从定义可以看出：超平面就是点的集合。集合中的某一点X，与向量w=[w1，w2，…wn]的内积，等于v

特殊地，如果令v等于0，对于训练集中某个点X：

wX=w1x1+w2x2+…+wnxn>0，将X标记为一类

wX=w1x1+w2x2+…+wnxn<0，将X标记为另一类

2，数据集的线性可分

对于数据集T={(X1, y1),(X2, y2)…(XN, yN)}，Xi belongs to Rn，yi belongs to {-1, 1}，i=1,2,…N

若存在某个超平面S：w*X=0

将数据集中的所有样本点正确地分类，则称数据集T线性可分。

所谓正确地分类，就是：如果w*Xi>0，那么样本点(Xi, yi)中的 yi 等于1

如果w*Xi<0，那么样本点(Xi, yi)中的 yi 等于-1

因此，给定超平面 wX=0，对于数据集 T中任何一个点(Xi, yi)，都有yi(wXi)>0，这样T中所有的样本点都被正确地分类了。

如果有某个点(Xi, yi)，使得yi(wXi)<0，则称超平面wX对该点分类失败，这个点就是一个误分类的点。

3.感知机模型
f(X)=sign(w*X+b)，其中sign是符号函数。

感知机模型，对应着一个超平面w*X+b=0，这个超平面的参数是(w,b)，w是超平面的法向量，b是超平面的截距。

我们的目标是，找到一个(w,b)，能够将线性可分的数据集T中的所有的样本点正确地分成两类。

如何找到(w,b)？—感知机学习算法做的事

三.激活函数相关

神经元的结构如下图所示，其中f就是激活函数（activation function），它的输入是x的线性组合，然后对其进行某种固定的数学操作后输出到下一个神经元。

常用的神经元激活函数主要有以下几种：

sigmoid
tanh
ReLU
Leaky ReLU
Maxout
ELU

激活函数的用途（为什么要用激活函数）