神经网络中的一些超参数:
1- 隐藏层的数量
2- 隐藏层单元的数量
3- 学习速率
4- dropout比例
5- 迭代次数
6- 优化器选择,如: SGD、Adam、Adagrad、Rmsprop
7- 激活函数选择,如:Relu、Sigmoid、Leaky Relu
8- batch_size大小
9- 是否使用batch normalization,layer normalization等
TensorBoard
简介: TensorBoard是tensorflow官方推出的可视化工具,可以将模型训练过程中的各种汇总数据展示出来,包括标量(Scalars)、图片(Images)、音频(Audio)、计算图(Graphs)、数据分布(Distributions)、直方图(Histograms)和潜入向量(Embeddings)。
重点需要学习的:
- 数据分布可视化
作用: tensorflow代码执行过程现构建图然后再执行,所以中间过程的调试不太方便,除此之外,在使用tensorflow训练大型深度学习网络的时候,中间的计算过程可能非常复杂,所以为了**