TensotFlow 应用实例：07-优化器 Optimizer 介绍

TensotFlow 应用实例：07-优化器 Optimizer 介绍

本文是我在学习TensotFlow 的时候所记录的笔记，共享出来希望能够帮助一些需要的人。

本文其实主要是在介绍什么是优化器以及常用的优化器，由于时间有限，文本就不在处理，直接贴在代码段当中，希望理解。

import tensorflow as tf


# optimizer
# 优化器 Optimizer 加速神经网络训练 (深度学习) Speed up neural network training process (deep learning)
# SGD Stochastic Gradient Descent
# Stochastic adj. [数] 随机的；猜测的
# 随机梯度下降
# Momentum, 惯性原则：在走的路上动手脚，将平地换成一个下坡，就可以避免走很多弯路
# m = b1 * m - Learning rate * dx
# W += m
# AdaGrad, 错误方向的阻力：这种方式是在学习率上动动手脚，给他一双特殊的鞋子，使得他在走弯路的时候会不舒服
# 这样他就会走你想让他走的路了
# v += dx^2
# W += -Learning rate * dx / √V (v的开方)
# RMSProp
# 结合以上两种方式, 但是并没有把Momentum完全合并，还缺少了Momentum的 【- Learning rate * dx】
# v = b1 * v + (1 - b1) * dx^2
# W += -Learning rate * dx / √V (v的开方)
# Adam 是补上RMSProp中缺少的Momentum的 【- Learning rate * dx】
# m = b1 * m - Learning rate * dx ---> Momentum
# W += -Learning rate * dx / √V (v的开方) --->  AdaGrad
# 实验表明，大多数时候使用Adam都能又快又好的达到目标

# AlphaGo 使用的是 RMSPropOptimizer
# 机器学习也就是从一个cost比较大的地方走到一个cost最小的地方

# 初学者的使用GradientDescent基本上级就可以了

本文代码GitHub地址 tensorflow_learning_notes