深度学习TensorFlow的基本理论

1、深度学习框架TensorFlow中都有哪些优化方法？
GradientDescentOptimizer 、AdagradOptimizer 、AdagradDAOptimizer 、MomentumOptimizer 
AdamOptimizer 、FtrlOptimizer 、RMSPropOptimizer
2、深度学习框架TensorFlow中常见的激活函数都有哪些？
Sigmoid、tanh 、relu 、relu6、 elu 、softplus
3、深度学习框架TensorFlow中有哪四种常用交叉熵？
1.tf.nn.sigmoid_cross_entropy_with_logits( _sentinel=None, labels=None, logits=None, name=None)
2.tf.nn.softmax_cross_entropy_with_logits( _sentinel=None, labels=None, logits=None, dim=-1, name=None)
3.tf.nn.sparse_softmax_cross_entropy_with_logits( _sentinel=None, labels=None, logits=None, name=None) 4.tf.nn.weighted_cross_entropy_with_logits( labels, logits, pos_weight, name=None)

4、什么叫过拟合，避免过拟合都有哪些措施？
1.什么叫过拟合
在对模型进行训练时，有可能遇到训练数据不够，即训练数据无法对整个数据的分布进行估计的时候，或者在对模型进行过度训练时，常常会导致模型的过拟合。
2.怎么解决过拟合
为了防止过拟合，我们需要用到一些方法，数据增强、加入Dropout层、正则化、
减少特征个数，使用交叉验证来寻找最优模型