基于知识提取的方法训练一个小网络

Hinton大牛的文章,关于如何得到一个又小又好的网络的。文章链接《Distilling the Knowledge in a Neural Network》 —————————— 背景介绍 —————————— 大家都想要得到一个又好又快的模型,但是实际情况往往是模型越小则性能越差。文献[1]中提出了一种策略:大模型学习到的知识可以通过“提取”的方法转移到一个小模型上 。所以,本文的宏观策略就是...
阅读(1057) 评论(0)

浮点数表示

浮点数表示 浮点数的规格化表示 浮点数的表示范围 浮点数的表示精度 参考资料 之前的一些工作当中碰到了很多有关浮点数的问题,比如浮点数的表达范围、表达精度、浮点数的存储方式、浮点数的强制类型转换等等,因此感觉有必要系统了解一下有关浮点数的问题。 —————————— 浮点数表示 —————————— 浮点数是一种 公式化 的表达方式,用来近似表示实数,并且可以在...
阅读(1040) 评论(0)
    个人资料
    • 访问:411112次
    • 积分:5036
    • 等级:
    • 排名:第5767名
    • 原创:115篇
    • 转载:11篇
    • 译文:1篇
    • 评论:445条
    最新评论