![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
神经网络优化
文章平均质量分 82
普通网友
这个作者很懒,什么都没留下…
展开
-
稀疏矩阵存储格式总结
稀疏矩阵是指矩阵中的元素大部分是0的矩阵,事实上,实际问题中大规模矩阵基本上都是稀疏矩阵,很多稀疏度在90%甚至99%以上。因此我们需要有高效的稀疏矩阵存储格式。本文总结几种典型的格式:COO,CSR,DIA,ELL,HYB。Coordinate(COO) 这是最简单的一种格式,每一个元素需要用一个三元组来表示,分别是(行号,列号,数值),对应上图右边的一列。这种方式简单,但是原创 2017-12-05 11:09:09 · 668 阅读 · 0 评论 -
双精度,单精度和半精度
浮点数是计算机上最常用的数据类型之一,有些语言甚至数值只有浮点型(Perl,Lua同学别跑,说的就是你)。常用的浮点数有双精度和单精度。除此之外,还有一种叫半精度的东东。双精度64位,单精度32位,半精度自然是16位了。半精度是英伟达在2002年搞出来的,双精度和单精度是为了计算,而半精度更多是为了降低数据传输和存储成本。很多场景对于精度要求也没那么高,例如分布式深原创 2017-11-17 09:56:29 · 39032 阅读 · 1 评论 -
CNN网络优化学习总结——从MobileNet到ShuffleNet
摘要最近出了一篇旷视科技的孙剑团队出了一篇关于利用Channel Shuffle实现的卷积网络优化——ShuffleNet。我关注了一下,原理相当简单。它只是为了解决分组卷积时,不同feature maps分组之间的channels信息交互问题,而提出Channel Shuffle操作为不同分组提供channels信息的通信的渠道。然而,当我读到ShuffleNet Unit和Netw转载 2017-12-01 09:04:51 · 6257 阅读 · 0 评论