深度学习之TensorFlow -- 数学关键词 Day3

       刚准备接触深度学习有关的数据基础，碰到几个在TensorFlow中看到的常见数据关键词，简单记录下，作为后续的知识储备。

交叉熵：用于求解深度学习中的损失函数值

logits: 简单来说，就是定义的神经网络的一层输出结果。该输出一般会再接一个softmax layer输出normalize 后的概率，用于多分类；输入激活函数之前都可以叫做logits。在深度学习之中logits就是输入到softmax之前的数值，本质上反映的也是概率，softmax只是归一化一下。

可以参考理解：https://www.zhihu.com/question/60751553 ,透过此文可以从度角度理解logits的含义

Sigmoid/Softmax/Relu函数: 激活函数，用于神经网络中各层中各个节点的根据上一层的输出作为输入，求解当前网络的各个节点的输出，从另一个角度来理解，就是通过激活函数可以将未“归一化的概率值”，也就是上面说的logits，映射到归一化后的概率值域中，举例说明：由于logis本身并不是一个概率，所以我们需要把logist的值变化成“概率模样”。这时Softmax函数该出场了。Softmax把一个系列的概率替代物（logits）从[-inf, +inf] 映射到[0,1]。除此之外，Softmax还保证把所有参与映射的值累计之和等于1，变成诸如[0.95, 0.05, 0]的概率向量。这样一来，经过Softmax加工的数据可以当做概率来用。经过softmax的加工，就变成“归一化”的概率（设为p1），这个新生成的概率p1，和labels所代表的概率分布（设为p2）一起作为参数，用来计算交叉熵。

补充：Sigmoid用于二分类问题，映射到（0,1），Softmax用于多分类问题，映射到（b0,b1,b2,...,bn)，其中bi是一个0到1的常数，且往往b0+b1+b2+...+bn=1。

梯度：

在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。

梯度的方向就是函数变化最快的方向

    在单变量函数中，梯度是函数的微分，代表着函数在某个给定点的切线的斜率
    在多变量函数中，梯度是一个向量，向量的方向支出了函数在给定点上升最快的方向

学习率：

学习率，即步长，决定了在梯度下降迭代的过程中，每一步沿梯度负方向前进的长度，控制模型的学习进度。

• 学习率选取过大，会导致易震荡、损失值爆炸。
• 学习率选取过小，会导致收敛速度慢、回归函数易过拟合。
• 训练全过程并不是使用一个固定值的学习速度，而是随着时间的推移让学习率动态变化，比如刚开始训练，离下山地点的最优值还很远，那么可以使用较大的学习率下的快一点，当快接近最优值时为避免跨过最优值，下山速度要放缓，即应使用较小学习率训练，具体情况下因为我们也不知道训练时的最优值，所以具体的解决办法是：在每次迭代后，使用估计的模型的参数来查看误差函数的值，如果相对于上一次迭代，错误率减少了，就可以增大学习率如果相对于上一次迭代，错误率增大了，那么应该重新设置上一轮迭代的值，并且减少学习率到之前的50%。因此，这是一种学习率自适应调节的方法。在Caffe、Tensorflow等深度学习框架中都有很简单直接的学习率动态变化设置方法
• 学习率可以设置为0.00001，0.0001，0.001，0.003，0.01，0.05，0.1，0.5，1，3，10具体需结合实际情况对比判断，小的学习率收敛慢，但能将loss值降到更低
  参考：  原文链接：https://blog.csdn.net/hzqgangtiexia/article/details/80509211         https://blog.csdn.net/hzqgangtiexia/article/details/80509211

算法：SVM、RBM、DBN、K-Means 聚类算法....

以上待补充，未完待续......有空再好好研究研究。。