深度学习基础（一）

神经网络和深度学习

1. 人工智能>机器学习>深度学习
2. （1）神经元形成网络。

（2）对于从其他多个神经元传递过来的信号，如果他们的和不超过某个固定大小的值（阈值），则神经元不做出任何反应

（3）对于从其他多个神经元传递过来的信号，如果它们的和超过某个固定大小的值（阈值）。则神经元作出反应（称为点火），像另外的神经元传递固定强度的信号。

（4）在（2）和（3）中，从多个神经元传递过来的信号之和中，每个信号对应的权重不一样。

          

神经元工作的数学表示

1. 神经元点火的结构

1. 来自其他多个神经元的信号之和成为神经元的输入
2. 如果这个信号值和超过神经元固有的阈值，则点火
3. 神经元输出信号可以用数字信号0和1来表示，即使有多个输出端其值也是同一个。

1. 点火的判断条件

（1）输入信号之和

（2）判断条件

激活函数：将神经元的工作一般化

1. 简化神经元的图形

1. 激活函数

1. 神经元和神经单元的不同点

1. 偏置

什么是神经网络

1. 阶层性神经网络

      按照层（layer）划分神经单元，通过这些神经单元处理信号，并从输出层得到结果

      前一层的神经单元与下一层的所有神经单元都有箭头连接，这样的层结构称为全连接层

1.  神经网络各层的职责

输入层：负责读取给予神经网络的信息。属于这个各层的神经单元没有输入箭头，他们是简单的神经单元，只是将从数据得到的值原样输出。

隐藏层：隐藏层的神经单元执行信息处理操作。在神经网络中，这是实际处理信息的部分。

输出层：输出层与隐藏层一样执行信息处理操作，并显示神经网络计算出的结果，也就是整个神经网络的输出。

误差反向传播法必需的链式法则

1. 单变量函数的链式法则

已知单变量函数y=f（x），当u表示为单变量函数u=g(x)时，复合函数f（g（x））的导函数可以如下简单的求出来。

 

1. 多变量函数的链式法则

变量z为u、v的函数，如果u、v为x、y的函数，则z为x、y的函数，此时下式（多变量函数的链式法则）成立。

梯度下降法的基础：多变量函数的近似公式

单变量函数的近似公式

多变量函数的近似公式

近似公式的向量表示

梯度下降法的含义与公式

1. 梯度下降法的思路

1. 函数的梯度下降法的基本式

1. η的含义及梯度下降的要点（步长）

神经网络的参数和变量

1. 参数和变量

像权重和偏置这种确定数学模型的常数称为模型的参数

数学模型中值可以根据数据而变化的量称为变量

神经单元误差

1. 神经单元误差的定义

1. 用表示平方误差关于权重、偏置的偏导数

可得

又

所以

神经网络和误差反向传播法

1. 计算输出层的

1. 中间层的“反向”递推关系式

推出l层与l+1层的关系