【tensorboard】从tensorboard上看出模型是否存在过拟合

tensorboard还是一个很好的工具，可以图形化看到训练模型相关的数据

• SCALARS
  一些指标数据的趋势图，比如accuracy，loss等
  这个图比较直观，也简单易懂
  下图为epoch accuracy趋势图样例
  

• GRAPHS
  model的计算图，基本反应出model中的各个layer和计算过程，

下图为model的graphs样例

• HISTOGRAMS
  直方图，它反馈的是每一轮batch中的参数分布情况
  其中，
  x轴为训练出的参数值范围，
  y轴为分布出现的次数，次数越多，y轴就越高
  z轴为时间轴，越往后时间越早，图上颜色就越深
  

• DISTRIBUTIONS
  分布图，它其实是直方图的俯视角度

---

过拟合的特征

如果对过拟合也设计一套特征，可能有如下几种

1. SCALARS双分歧

一般来说我们都会观测epoch accuracy和epoch loss，如果训练结果上这两个图的train和test存在了分歧，

• epoch accuracy上validation明显低于train
• epoch loss上validation明显高与train
  那么可能存在了过拟合
  

2. HISTOGRAMS边缘化

如果从直方图来看，部分参数经过训练越发边缘化，可能也存在过拟合