ML学习--随记

• 备注：随着学习的前进再进行条理化的整理。

1. 损失函数变化剧烈的原因：
   (1) 学习率选的太大；
   (2)batch_size太小；
2. 尽量保证训练数据的分布与测试数据的分布一致。
3. tensorflow重要库函数：
   (1) tf.layers，现在常用的；
   (2) tf.contrib.layers.fully_connected()，以后可能会被废弃；
   (3) slim，1.8版本之后被放弃；
4. 衡量两个分布之间的差异使用交叉熵。
5. 熵的计算公式：$-{\int }_{-\infty }^{+\infty }PlogPdx$，以2为底，单位为bit，表示信源所有可能发生情况的平均不确定性。