Tomcat的专栏

深度学习只会在训练中对网络中的节点进行调整，在非训练时节点不会因为Input Data而发生变化；人脑实际上并不会有训练与非训练的区别，Input Data 会对节点施加影响。

TensorFlow1个batch中有多个样本，迭代一次，具体是如何执行的total = 旧参下计算更新值1+旧参下计算更新值2+…+旧参下计算更新值500 新参数 = 旧参数 + totalRef: 怎么选取训练神经网络时的Batch size? - 知乎...

为什么输出矩阵的第i行就是单词ωiωi{\omega _{\rm{i}}}的输出向量这个问题等同于下面这个式子（这个是CBOW的）： 这里我画了个草图来说明原因：

如何看待L1、L2规则化 将它们视为loss函数中引入了惩罚项。我们的目的是希望求出在参数值取多少时，loss函数是最小的；但是引入L1、L2规则化算子后（这时就变成拉格朗日函数），相当于给参数的取值套了个“紧箍咒”： 不再像原来那样可以自由自在地随便给参数取值 原因在于我们可以看到L1、L2都恒大于0，而我们的目标是要求得min这正是regularization...

凸集集合中的任意两点连线的点都在该集合中凸函数简单理解为对曲线上任意两点连线上的点对应的函数值不大于该两点对应的函数值得连线上的值。 凸函数仅仅是定义在凸集上的函数。[1] p154 凸优化由凸函数构成的凸优化具有很好的性质： [1] p155 （1）凸优化的任一局部极小（大）点也是全局极小（大）点，且全体极小（大）点的集合为凸集 （2）凸...

CTRCTR又称广告点击率，英文名(click through rate) RefCTR预估基本知识

Hopfield网络能量函数+反馈结构（得到稳定的吸引子）BM能量函数+反馈结构+状态概率性转移（具有不断跳出位置较高的低谷，搜索位置较低的新低谷的能力）退火算法搜索方向固定；如果等于梯度下降方向就完全接受，如果不等于就概率性接受（具有不断跳出位置较高的低谷，搜索位置较低的新低谷的能力）BP（反向传播）网络优化过程中的搜索方向变化等同于梯度下降方向...

于是我们得到四个指标，分别为：真阳、伪阳、伪阴、真阴。ROC空间将伪阳性率（FPR）定义为 X 轴，真阳性率（TPR）定义为 Y 轴。这两个值由上面四个值计算得到，公式如下： TPR：在所有实际为阳性的样本中，被正确地判断为阳性之比率。TPR=TP/(TP+FN) FPR：在所有实际为阴性的样本中，被错误地判断为阳性之比率。FPR=FP/(FP+TN)　　放在具体领域来理解上述...

GBDT的两个不同版本（重要）残差版本把GBDT说成一个残差迭代树，认为每一棵回归树都在学习前N-1棵树的残差。 Gradient版本把GBDT说成一个梯度迭代树，使用梯度下降法求解，认为每一棵回归树在学习前N-1棵树的梯度下降值。GBDT中的Tree是回归树，不是分类决策树Ref【原创】GBDT（MART）概念简介...