神经网络稀疏性
文章平均质量分 84
free1993
这个作者很懒,什么都没留下…
展开
-
论文Taichi: A Language
论文:Taichi: A Language for High-Performance Computation on SpatiallySparse Data Structures背景图形领域中,输入数据都是高度不规则且稀疏的。例如,在一个3D空间里面,只有一小部分空间的点是有数据的,其他空间是没有数据的。例如下面这个图。为了表达输入数据的形式,一般采用的是hierarchical sparse data structures。例如multilevel sparse voxel gridsp原创 2021-05-26 14:49:29 · 468 阅读 · 0 评论 -
神经网络剪枝系列一:背景简介
前言本系列主要是来一起探讨神经网络剪枝技术的实现和应用过程的。包括:实现原理,代码实现 ,实验结果分析等内容。神经网络剪枝系列一:背景简介背景目前的大规模神经网络模型普遍存在“过参数化”的情况,即部分参数对最终的输出结果贡献不大,此类参数被认为是“冗余的”。同时对于资源有限的设备来说,如何从大网络里面提取表征能力最强的小网络就很重要了。当下,已经有不少工作在研究如何减少在训练过程中的资源占用。剪枝就是其中一种方法。剪枝顾名思义就是通过算法筛选并剪除冗余参数,并确保剪枝得到的小网络在精度上与原始网络原创 2020-10-09 17:45:18 · 678 阅读 · 0 评论 -
神经网络的加速
背景目前神经网络应用在大多数的场景,包括计算机视觉(包括目标识别、检测),推荐系统,大型的科学计算等。神经网络的计算本质上是张量计算(tensor),因此为了加速神经网络的计算,我们就需要进行张量的加速计算。为了加速张量计算,我们需要软硬件协调。张量计算有两个特征计算密集(compute-intensive)访存受限(memory-bound)目前现存的一些技术算法层面稀疏性所谓的稀疏,就是利用神经网络计算过程中的零值元素。提出的要求就是只取出非零数值送到PE中,然后进行运算。包括的方面原创 2021-05-08 15:03:19 · 2019 阅读 · 0 评论 -
神经网络中矩阵稀疏性的编码方式
背景神经网络的计算基本上是以高维Tensor的形式存在的。高维Tensor如何利用各种稀疏性来计算,因此问题就归结成如何编码这些稀疏性。稀疏性编码的方式英伟达关于常见的稀疏性编码的方式scipy的稀疏性编码的库在英伟达的这个pdf中,我认为最重要的一个结论是:一个稀疏编码方式的效率(存储空间)和稀疏的分布是息息相关的。COOCOO用三个(row, col, data)数组来存储稀疏矩阵。这个就很简单了。对应的scipy的定义是CSRCSR使用三个(row, col,value),原创 2021-03-06 20:49:10 · 1426 阅读 · 2 评论 -
神经网络稀疏性调研
背景人工智能在诸多领域都取得了突破性进展,例如计算机视觉,nlp等。但是,各种机器学习模型存在一个很致命的问题:神经网络巨大的计算量+访存量,这对性能提出了较高的要求(能耗、延时、访存等)。一种可行的解决方案:充分利用机器学习模型中的稀疏性。所谓的稀疏性是指在计算中不必要,没用的计算。通过减少计算量,就可以保证降低不必要的存储和计算,提升机器学习模型部署时的性能。稀疏性的分布根据稀疏性的来源,我们可以基本分为以下几类。科学计算和传统的机器学习神经网络nlp科学计算和传统的机器学习科学计算原创 2021-02-23 17:01:05 · 9070 阅读 · 2 评论