深度学习
文章平均质量分 93
Ruff_XY
这个作者很懒,什么都没留下…
展开
-
Pareto-Optimal Quantized ResNet Is Mostly 4-bit
论文背景文章地址代码地址amirali.abdolrashidi @email.ucr.edu,{fwanglisa, shivaniagrawal, malmaud, rybakov, cleichner, lewg} @google.com谷歌和UCR联合发表的期刊/会议: CVPR 2020AbstractIn this work, we use ResNet as acase study to systematically investigate the effect原创 2021-07-13 16:04:18 · 315 阅读 · 0 评论 -
Neural Network Compression Framework for fast model inference
论文背景文章地址代码地址Alexander Kozlov Ivan Lazarevich Vasily Shamporov Nikolay Lyalyushkin Yury Gorbachevintel名字看起来都是俄罗斯人期刊/会议: CVPR 2020Abstract基于pytorch框架, 可以提供quantization, sparsity, filter pruning and binarization等压缩技术. 可独立使用, 也可以与现有的training co原创 2021-07-08 15:45:58 · 255 阅读 · 0 评论 -
CPT: Efficient Deep Neural Network Training via Cyclic Precision
论文地址代码地址论文背景Yonggan Fu, Han Guo, Xin Yang, Yining Ding & Yingyan Lin电子与计算机工程系, 莱斯大学Meng Li & Vikas Chandra, Facebook看起来都是中国人, 不过都是国外的大学和公司期刊/会议: 发表在ICLR 2021贡献提出了循环精度训练(CPT),以循环改变两个边界值之间的精度,这两个边界可以在前几轮训练时, 使用简单的精度范围测试来识别.和学习率类似,原创 2021-06-11 17:16:01 · 341 阅读 · 1 评论 -
Towards Accurate Post-training Network Quantization via Bit-Split and Stitching
自动化所的一篇文章, 文章地址, 代码地址文章主要有两个创新点将量化后的weigths进行split, 然后优化每一位bit, 使得目标函数最小, 得到每一位的bit后再将所有位的bit进行stitching在保证计算效率的前提下, 可以对Activation使用per-channel的量化, 论文中叫Error Compensated Activation Quantization(ECAQ)下面针对这两条分别说明,Bit-Split and Stitching常规的二进制, 第一位是原创 2021-06-09 18:07:54 · 575 阅读 · 0 评论 -
cs231n:assignment2——python文件:layers.py
视频里 Andrej Karpathy上课的时候说,这次的作业meaty but educational,确实很meaty,作业一般是由.ipynb文件和.py文件组成,这次因为每个.ipynb文件涉及到的.py文件较多,且互相之间有交叉,所以每篇博客只贴出一个.ipynb或者一个.py文件.(因为之前的作业由于是一个.ipynb文件对应一个.py文件,所以就整合到一篇博客里) 还是那句话,有错原创 2016-12-29 20:45:08 · 2664 阅读 · 0 评论 -
cs231n:assignment2——python文件:layer_utils.py
视频里 Andrej Karpathy上课的时候说,这次的作业meaty but educational,确实很meaty,作业一般是由.ipynb文件和.py文件组成,这次因为每个.ipynb文件涉及到的.py文件较多,且互相之间有交叉,所以每篇博客只贴出一个.ipynb或者一个.py文件.(因为之前的作业由于是一个.ipynb文件对应一个.py文件,所以就整合到一篇博客里) 还是那句话,有错原创 2016-12-29 20:46:50 · 1765 阅读 · 0 评论 -
cs231n:assignment2——python文件:optim.py
视频里 Andrej Karpathy上课的时候说,这次的作业meaty but educational,确实很meaty,作业一般是由.ipynb文件和.py文件组成,这次因为每个.ipynb文件涉及到的.py文件较多,且互相之间有交叉,所以每篇博客只贴出一个.ipynb或者一个.py文件.(因为之前的作业由于是一个.ipynb文件对应一个.py文件,所以就整合到一篇博客里) 还是那句话,有错原创 2016-12-29 20:55:13 · 1537 阅读 · 0 评论 -
cs231n:assignment2——python文件:cnn.py
视频里 Andrej Karpathy上课的时候说,这次的作业meaty but educational,确实很meaty,作业一般是由.ipynb文件和.py文件组成,这次因为每个.ipynb文件涉及到的.py文件较多,且互相之间有交叉,所以每篇博客只贴出一个.ipynb或者一个.py文件.(因为之前的作业由于是一个.ipynb文件对应一个.py文件,所以就整合到一篇博客里) 还是那句话,有错原创 2016-12-29 20:56:54 · 1699 阅读 · 5 评论 -
cs231n:assignment2——python文件:fc_net.py
视频里 Andrej Karpathy上课的时候说,这次的作业meaty but educational,确实很meaty,作业一般是由.ipynb文件和.py文件组成,这次因为每个.ipynb文件涉及到的.py文件较多,且互相之间有交叉,所以每篇博客只贴出一个.ipynb或者一个.py文件.(因为之前的作业由于是一个.ipynb文件对应一个.py文件,所以就整合到一篇博客里) 还是那句话,有错原创 2016-12-29 20:53:19 · 3823 阅读 · 0 评论 -
cs231n:assignment2——Q3: Dropout
视频里 Andrej Karpathy上课的时候说,这次的作业meaty but educational,确实很meaty,作业一般是由.ipynb文件和.py文件组成,这次因为每个.ipynb文件涉及到的.py文件较多,且互相之间有交叉,所以每篇博客只贴出一个.ipynb或者一个.py文件.(因为之前的作业由于是一个.ipynb文件对应一个.py文件,所以就整合到一篇博客里) 还是那句话,有错误原创 2016-12-23 15:42:01 · 2576 阅读 · 0 评论 -
cs231n:assignment2——Q4: ConvNet on CIFAR-10
视频里 Andrej Karpathy上课的时候说,这次的作业meaty but educational,确实很meaty,作业一般是由.ipynb文件和.py文件组成,这次因为每个.ipynb文件涉及到的.py文件较多,且互相之间有交叉,所以每篇博客只贴出一个.ipynb或者一个.py文件.(因为之前的作业由于是一个.ipynb文件对应一个.py文件,所以就整合到一篇博客里) 还是那句话,有错原创 2016-12-29 20:18:14 · 5385 阅读 · 3 评论 -
cs231n:assignment1——Q1: k-Nearest Neighbor classifier(自动生成版)
作业文件地址下载(添加百度云链接) 作业一其他问题:(添加其他问题的博客地址)Training a Support Vector Machine(添加地址)Implement a Softmax classifier (添加地址)Two-Layer Neural Network (添加地址)Higher Level Representations: Image Features(添加地址)原创 2016-11-13 21:33:18 · 4312 阅读 · 0 评论 -
BP反向传播算法
前言:本来想把自己报告的ppt写成博客,后来公式打起来太麻烦了,不想再敲第二遍了。可以看斯坦福cs231n的课程,因为我发现很多人的博客的图和公式直接是截的那边的图。youtube上没有英文字幕,但是youtube会提供自动生成英文字幕,我的英文水平比较渣,有英文字幕还是听不懂,后来发现在网页上可以用0.5倍的速度观看。这个时候还可以。正文:BP反向传播算法明白了之后其实是比较简单,现在想想一开始阻原创 2016-10-30 18:14:51 · 2027 阅读 · 0 评论 -
cs231n:assignment1——Q4: Two-Layer Neural Network
自己写的cs231n的作业,希望给点意见,支出错误和不足.谢谢 参数调了好久,貌似也没什么太好的头绪,有一次调到57+%,当时没记参数,后来调不会来了two_layer_net.ipynb内容:Implementing a Neural NetworkIn this exercise we will develop a neural network with fully-connected lay原创 2016-12-05 15:24:14 · 7938 阅读 · 0 评论 -
cs231n——assignment1: Q1: k-Nearest Neighbor classifier(手动复制版)
作业文件地址下载(添加百度云链接) 作业一其他问题:(添加其他问题的博客地址)Training a Support Vector Machine(添加地址)Implement a Softmax classifier (添加地址)Two-Layer Neural Network (添加地址)Higher Level Representations: Image Features(添加地址)原创 2016-11-13 21:26:49 · 1796 阅读 · 1 评论 -
cs231n:assignment1——Q2: Training a Support Vector Machine
作业文件地址下载(添加百度云链接) 作业一其他问题:(添加其他问题的博客地址)Training a Support Vector Machine(添加地址)Implement a Softmax classifier (添加地址)Two-Layer Neural Network (添加地址)Higher Level Representations: Image Features(添加地址)原创 2016-11-13 21:45:38 · 4256 阅读 · 0 评论 -
cs231n:assignment1——Q5: Higher Level Representations: Image Features
自己写的cs231n的作业,希望给点意见,支出错误和不足.谢谢 featuresipynb内容Image features exerciseLoad dataExtract FeaturesTrain SVM on featuresInline question 1Neural Network on image featuresBonus Design your own feature原创 2016-12-05 17:34:21 · 4345 阅读 · 0 评论 -
cs231n:assignment2——Q1: Fully-connected Neural Network
视频里 Andrej Karpathy上课的时候说,这次的作业meaty but educational,确实很meaty,作业一般是由.ipynb文件和.py文件组成,这次因为每个.ipynb文件涉及到的.py文件较多,且互相之间有交叉,所以每篇博客只贴出一个.ipynb或者一个.py文件.(因为之前的作业由于是一个.ipynb文件对应一个.py文件,所以就整合到一篇博客里) 还是那句话,有错误原创 2016-12-23 14:36:47 · 7840 阅读 · 0 评论 -
cs231n:assignment2——Q2: Batch Normalization
视频里 Andrej Karpathy上课的时候说,这次的作业meaty but educational,确实很meaty,作业一般是由.ipynb文件和.py文件组成,这次因为每个.ipynb文件涉及到的.py文件较多,且互相之间有交叉,所以每篇博客只贴出一个.ipynb或者一个.py文件.(因为之前的作业由于是一个.ipynb文件对应一个.py文件,所以就整合到一篇博客里) 还是那句话,有错误原创 2016-12-23 15:38:48 · 5366 阅读 · 0 评论