1. Tensorflow 图的模式
定义各模块,前三个步相当于搭建了模型的静态图。
- 数据输入函数
- 优化问题的loss函数, 效果度量函数。注: loss 函数相当于定义深层网络。
- 参数优化算子
- 通过循环的调用section.run 刷新优化参数,loss函数值,效果度量值(准确率,KS等)
2. torch模式 & TF的Eager模式
没有了section,每次计算梯度得到具体的值,并更新, 执行方式与一般算法描述一致, 使用成本低,更适合入门。
torch 和 Eager 模式的差别:
- Eager 模式需要考虑导数计算, 并且可以自定义导数
- torch 代码中, 通常调用backward函数,不出现梯度计算,代码上更简洁。