tensorflow 笔记：五（ 北大）

目录

 

优化

概述

神经元模型

激活函数

 层数和参数的计算

---

优化

概述

神经元模型

 

激活函数

 层数和参数的计算

 

优化目标

损失函数 loss

自定义loss

自定义的tf代码

 

 

CE（cross entropy）越大，概率分布越远，vice versa。

CE中需要让概率归一化，使用的函数是softmax(),

 

 

学习率 learning_rate

 

learning rate的tensorflow代码

learning rate的大小设置问题

 一种动态的learning rate，即指数衰减学习率。

指数衰减学习率的TensorFlow代码

 

滑动平均 ema

 e.g.

tensorflow中描述EMA的语句。

TensorFlow的 EMA 代码

 

 

 

正则化 regularization

regularization 为了解决过拟合的问题，本质就是给权重w 加上权值。

 

模块module matplotlib