你不是叶秋的博客

最近学习的过程中总是看到 gloable_step 这个参数，但是也没有讲解他究竟是做什么用。具体来说出现在了优化器，指数衰减函数中，不甚理解。另外在指数衰减中，实现了 decayed_learning_rate = learning_rate * decay_rate ^ (gloable_step/decay_step)其他几个参数很好理解，分别是初始学习率，衰减率。decay_st...

最近学习深度学习的时候，总是会把几种熵搞混，于是好好地理解了一番过后，对他们的认识就更加深刻了一些。这些指数本来是信息论的知识，是用来度量信息的参数(能够想到对信息这种抽象的事物的特征进行衡量，真乃神人也)，引入到机器学习中，因为机器学习中有用到概率论的知识，而信息论中也同样有概率论做铺垫，因此也就自然的拿来做机器学习中的效果评估和优化目标。闲话少说，下面就言简意赅地对这几个熵进行说明。...