神经网络与误差反向传播算法

神经网络

神经网络：大量（结构简单的、功能接近的）神经元节点按一定体系架构连接成的网状结构——就是大脑的结构。

作用：分类、模式识别、连续值预测
【1】神经元

输入向量x+权重向量w+偏置标量b+激活函数sigmoid
【2】前馈网络
前馈神经网络，是人工神经网络的一种，各神经元从输入层开始，接收前一级输入，并输出到下一级，直至输出层。整个网络中无反馈，可用一个有向无环图表示。

前馈神经网络采用一种单向多层结构。其中每一层包含若干个神经元，同一层的神经元之间没有互相连接，层间信息的传送只沿一个方向进行。

其中第一层称为输入层。最后一层为输出层．中间为隐含层。隐含层可以是一层，也可以是多层。
【3】梯度下降

参数w与目标函数J(w)的关系图，红色的部分是表示J(w)有着比较高的取值，需要能够让J(w)的值尽量的低。也就是