杂记

根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题，称之为无监督学习。

深度学习将特征提取和分类两个模块集成一个系统，通过识别图像的特征来进行提取并基于有标签数据进行分类。这样的集成系统就是多层感知机，即有多层神经元密集连接而成的神经网络。

ReLU相比Sigmoid的优势是其训练速度更快，因为Sigmoid的导数在稳定区会非常小，从而权重基本上不再更新。这就是梯度消失问题。

通过在每个全连接层后面加上Dropout层减少了模型的过拟合问题。Dropout层以一定的概率随机地关闭当前层中神经元激活值

op是operation的缩写，是产生这个tensor的操作运算，对应图上的结点，这些结点接收一些tensor作为输入并输出一些tensor

当我们构建完图后，需要在一个会话中启动图，启动的第一步是创建一个Session对象。

为了取回（Fetch）操作的输出内容，可以在使用Session对象的run()调用执行图时，传入一些tensor，这些tensor会帮助你取回结果。

在执行sess.run()时，tensorflow并不是计算了整个图，只是计算了与想要fetch的值相关的部分

feed_dict的作用是给使用placeholder创建出来的tensor赋值。其实，他的作用更加广泛：feed 使用一个值临时替换一个op的输出结果. 你可以提供 feed 数据作为 run() 调用的参数. feed 只在调用它的方法内有效, 方法结束, feed 就会消失.

参数is_training,当它为True，代表是训练过程，这时会不断更新样本集的均值与方差。当测试时，要设置成False，这样就会使用训练样本集的均值和方差。

一个epoch是指把所有训练数据完整的过一遍