TensorFlow学习（三）：训练神经网络的过程，及一些概念的介绍（前向传播、反向传播......）

1、前向传播：

前向传播是顺序的计算。

2、反向传播：

反向传播是根据已知训练数据的答案，反向调参的过程，是一个迭代的过程。

3、训练神经网络的过程

其基本的流程是：
（1）选取一小部分的训练数据；
（2）根据选取的数据，预测结果；
注：（1）、（2）是一个前向传播的过程
（3）比较预测值和真实数据的差距，根据差距调参；
注：（3）是反向传播的过程
（4）返回（1）

4、深度学习：

多层非线性变换

5、激活函数：

去线性化