前向传播与反向传播（1）

神经网络的实现过程：

1. 准备数据集，提取特征，作为输入喂给神经网络；
2. 搭建NN结构，从输入到输出（先搭建计算图graph，在用会话Session执行）
3. 大量特征数据喂给NN，迭代优化NN参数
4. 使用训练好的模型预测和分类

设计神经网络的过程：

使用成熟的网络，喂入新的数据观察泛化能力，在适当更改网络结构，让机器调节网络参数，得到成熟的网络。

前向传播：

搭建模型，实现推理

反向传播：

训练模型参数，在所有参数上用梯度下降，使NN模型在训练数据上的损失函数最小

学习率：

决定每次参数更新的幅度