Google深度学习笔记 TensorFlow实现与优化深度神经网络

最新推荐文章于 2021-11-04 19:32:28 发布

梦里茶

最新推荐文章于 2021-11-04 19:32:28 发布

阅读量5.4k

点赞数 3

分类专栏：机器学习 Google深度学习笔记文章标签：深度学习神经网络 tensorflow dropout overfit

本文链接：https://blog.csdn.net/u011453773/article/details/51498793

版权

转载请注明作者：梦里风林
Github工程地址：https://github.com/ahangchen/GDLnotes
欢迎star，有问题可以到Issue区讨论
官方教程地址
 视频/字幕下载

全连接神经网络

辅助阅读：TensorFlow中文社区教程 - 英文官方教程

代码见：full_connect.py

Linear Model

加载lesson 1中的数据集
将Data降维成一维，将label映射为one-hot encoding

def reformat(dataset, labels):
    dataset = dataset.reshape((-1, image_size * image_size)).astype(np.float32)
    # Map 0 to [1.0, 0.0, 0.0 ...], 1 to [0.0, 1.0, 0.0 ...]
    labels = (np.arange(num_labels) == labels[:, None]).astype(np.float32)
    return dataset, labels

TensorFlow Graph

使用梯度计算train_loss，用tf.Graph()创建一个计算单元
- 用tf.constant将dataset和label转为tensorflow可用的训练格式（训练中不可修改）
- 用tf.truncated_normal生成正太分布的数据，作为W的初始值，初始化b为可变的0矩阵
- 用tf.variable将上面的矩阵转为tensorflow可用的训练格式（训练中可以修改）
- 用tf.matmul实现矩阵相乘，计算WX+b，这里实际上logit只是一个变量，而非结果
- 用tf.nn.softmax_cross_entropy_with_logits计算WX+b的结果相较于原来的label的train_loss，并求均值
- 使用梯度找到最小train_loss
```
optimizer = tf.train.GradientDescentOptimizer(0.5
```