地大大刘-CSDN博客

原创【MobileNet v1&v2】论文笔记

论文地址：v1： https://arxiv.org/abs/1704.04861v2： https://arxiv.org/abs/1801.04381代码的话，可以去tensorflow的model中找，在slim里面。个人认为理解论文最好将论文和代码结合，代码没有开源的另说(哈哈)。MobileNetv1核心思想：深度可分离卷积。将标准卷积分解为深度卷积和逐点卷积。原来一个3...

2019-07-10 16:50:15 803

原创树莓派3B+安装Ubuntu Mate踩过的一些坑和解决方案

个人踩过的一些坑，记下来也告诉一下大家。问题1：树莓派烧录系统后开机黑屏原因：Win32 Disk Imager软件烧录玩系统后会提示是否格式化SD卡，点了格式化之后造成的。解决：烧录系统后不点格式化即可。问题2：树莓派开机出现内核载入失败(但是仍可进入系统，不影响运行)原因：进入系统后，Ctrl + Alt + F1 进入命令行，登录后输入 systemctl status syst...

2019-07-09 11:29:34 10284 2

原创【NISP: Pruning Networks using Neuron Importance Score Propagation】论文笔记

为了减少深度卷积神经网络（CNN）中的显着冗余，大多数现有方法仅通过考虑单个层或两个连续层的统计来修剪神经元（例如，修剪一个层以最小化下一层的重建误差），忽略深度网络中误差传播的影响。相反，我们认为必须根据统一的目标联合修剪整个神经元网络中的神经元：最小化“最终响应层”（FRL）中重要响应的重建误差，这是之前的倒数第二层分类，用于修剪网络以重新训练其预测能力。具体来说，我们应用特征排序技术来测...

2019-04-17 16:35:44 1450 2

原创【Fast Algorithms for Convolutional Neural Networks】论文笔记

这篇文章基于Winograd开创的最小滤波算法，介绍了一类新的卷积神经网络快速算法。针对卷积计算方式而言，与直接卷积相比，该算法可以将卷积层的算术复杂度降低4倍。算法部分对于最小滤波算法而言，使用r维滤波器计算m个输出(称之为F(m,r))需要m+r-1次乘法计算。标准计算而言的话，需要m×r次乘法计算。对于1-D卷积：输入x=[1,2,3,4]，卷积核大小为3×1(r=3)，k=[...

2019-04-08 21:21:23 1732

原创 Tensorflow官方API收集汇总（中文和英文）

几个常用的网站：https://tensorflow.google.cn/api_docs/python/http://www.tensorfly.cn/https://www.w3cschool.cn/tensorflow_python/

2019-01-08 16:13:12 1665

原创 Ubuntu系统开机因文件系统问题导致一直紫屏解决方法

被这个问题搞过好几次了，明明是正常关机，但是再开机的时候偶尔就会出现这样的问题，一直没有把解决方法记下来，今天又遇到这个问题了，结果竟然有点忘记怎么搞了，所以这里记下来怎么搞。linux的文件系统损坏会导致linux不正常关机，出错的时候如果系统告诉你是哪一块硬盘的分区有问题，比如是/dev/sdc2，用如下的命令修复即可：fsck -y /dev/sdc2有时候可能没有提示，或者提示时手一...

2018-10-04 15:11:20 5634

原创 C++万能头文件

#include <bits/stdc++.h> 这个头文件包含了目前c++所包含的所有头文件！只需要include这个头文件，不需要再另外引用其他的头文件了。

2018-07-05 16:01:46 8494

原创监督学习与无监督学习

机器学习主要分为有监督学习和无监督学习两种。监督学习（supervised learning）：通过已有的训练样本（即已知数据以及其对应的输出）来训练，从而得到一个最优模型，再利用这个模型将所有新的数据样本映射为相应的输出结果，对输出结果进行简单的判断从而实现分类的目的，那么这个最优模型也就具有了对未知数据进行分类的能力。比较典型的应用就是分类和回归。无监督学习（unsupervised ...

2018-07-05 10:19:18 464

原创【Binarized Neural Networks】论文笔记

[NIPS '16]论文地址：https://arxiv.org/pdf/1602.02830.pdf代码地址：https://github.com/MatthieuCourbariaux/BinaryNet这篇文章提出了一个新的网络：二值化网络(BNN)，在运行时使用二值权重和激活。在训练时，二值权重和激活用于计算参数梯度。即网络权重和激活参数只有1和-1两种。

2018-07-04 19:44:16 2488

原创乘积量化（Product Quantization/PQ）笔记

论文链接：https://hal.inria.fr/file/index/docid/825085/filename/jegou_pq_postprint.pdfProduct quantization（PQ），国内直译为乘积量化，这里的乘积是指笛卡尔积，意思是指把原来的向量空间分解为若干个低维向量空间的笛卡尔积，并利用Kmeans算法对分解得到的低维向量空间分别做量化。这样每个向量就能由多个...

2018-07-04 15:46:28 3832 1

原创【Fixed-Point Performance Analysis of Recurrent Neural Networks】论文笔记

[ICASSP’16]论文链接：https://arxiv.org/abs/1512.01322 递归神经网络在许多应用中表现出优异的性能; 然而，它们需要增加基于硬件或软件的实现的复杂性。通过最小化权重和信号的字长可以大大降低硬件复杂性。这项工作使用基于重新训练的量化方法分析递归神经网络的定点性能。研究了RNN中各层的量化灵敏度，并给出了整体定点优化结果，使得权重容量最小化，同时不牺牲性能。使...

2018-07-03 21:44:35 247

原创关于神经网络图像分类中的Top-1和Top-5

Top-1错误率对一个图片，只判断概率最大的结果是否是正确答案。Top-5错误率对一个图片，判断概率排名前五中是否包含正确答案。

2018-07-03 20:46:21 8972

原创【Quantized Convolutional Neural Networks for Mobile Devices】论文笔记

[CVPR '16]论文链接：https://arxiv.org/abs/1512.06473代码链接：https://github.com/jiaxiang-wu/quantized-cnn文章中使用的是PQ量化方法，同时提出了量化误差的校正方案。

2018-07-03 20:41:49 1729

原创【Compressing Deep Convolutional Networks using Vector Quantization 】论文笔记

论文链接：https://arxiv.org/abs/1412.6115这篇论文对通过对权重矩阵进行量化编码来实现网络压缩，不涉及到网络加速，所以重点针对全连接层进行操作，因为全连接层的参数占网络参数的90%以上。文章主要对不同的矢量量化方法进行了评估。

2018-06-29 20:14:23 1634

原创【To prune, or not to prune: exploring the efficacy of pruning for model compression】论文笔记

[ICLR'18]论文链接：https://arxiv.org/abs/1710.01878Tensorflow修剪库参考：https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/model_pruning这篇文章的重点在于比较一个大疏模型和一个小密模型之间的模型精度和尺寸权衡上，试图仔细研究模型修剪作为模型压缩手段的有效性。文章还提出了一种简单的逐步修剪方法：需要最少的调整并且可以无缝地融入训练过程中。同样展示了其

2018-06-26 15:30:36 3980 1

原创【ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression】论文笔记

[ICCV’17]论文链接：https://arxiv.org/pdf/1707.06342.pdf GitHub网址：https://github.com/Roll920/ThiNet项目资料网址：http://lamda.nju.edu.cn/luojh/project/ThiNet_ICCV17/ThiNet_ICCV17_CN.html这篇论文提出了一个高效且统一的CNN框架ThiNet，实现网络模型在训练与预测阶段的同时加速与压缩。关注filter级别的剪枝，将filter剪枝操作定义为一个

2018-06-19 20:34:12 1879

原创【Designing Energy-Efficient Convolutional Neural Networks using Energy-Aware Pruning】论文笔记

[CVPR’17]论文链接：https://arxiv.org/abs/1611.05128 主要工作：使用能量感知修剪方法设计一个高效节能的卷积神经网络（题目直译，哈哈）作者认为以往的裁剪方法，都没有考虑到模型的带宽以及能量的消耗，因此无法从能量利用率上最大限度的裁剪模型，因此提出了一种针对CNN的能量感知修剪算法，直接利用CNN的能量消耗来指导修剪过程。总的来说也是修剪策略中的一种。...

2018-06-19 20:28:28 1604 2

原创【Dynamic Network Surgery for Efficient DNNs】论文笔记

[NIPS'16]论文链接：https://arxiv.org/pdf/1608.04493.pdf代码链接：https://github.com/yiwenguo/Dynamic-Network-Surgery这篇文章也是关于参数的修剪，但是多了一个拼接的步骤，可以大幅度恢复修剪造成的精度损失，并且能有效的提升压缩率。

2018-06-14 21:47:34 1118

原创深度学习网络压缩论文整理

GitHub网址 https://github.com/LJianlin/Model-Compression-Papers

2018-06-13 10:49:53 1132

原创【Soft Weight-Sharing for Neural Network Compression】论文笔记

论文链接：https://arxiv.org/pdf/1702.04008.pdf这篇论文提出了一种新的量化和修剪权重参数的思路，用GMM进行量化和裁剪。

2018-06-12 21:47:28 1747

原创 Markdown中图片居中

设置图片大小&amp;amp;amp;lt;img src=&amp;amp;quot;&amp;amp;quot; width=&amp;amp;quot;&amp;amp;quot; height=&amp;amp;quot;&amp;amp;quot; /&amp;amp;amp;gt;设置图片居中(center)，左(left),右(right)&a

2018-06-12 10:20:29 3197

原创【Pruning Convolutional Neural Networks for Resource Efficient Inference】论文笔记

论文链接：https://arxiv.org/abs/1611.06440 这篇论文也是修剪卷积核的。论文中提出了一种用于修剪神经网络中的卷积核的新公式，以实现有效的推理。论文中提出了一个基于泰勒展开的修剪新准则，用它去近似由于修剪网络参数引起的损失函数的变化。

2018-06-11 16:57:01 6319 1

原创 ResNet笔记

论文链接：http://arxiv.org/pdf/1512.03385.pdfResNet最根本的动机就是所谓的“退化”问题，即当模型的层次加深时，错误率却提高了，如下图：

2018-06-11 16:54:18 634

原创【Pruning Filters for Efficient ConvNets】论文笔记

这篇论文也属于参数裁剪的一类，不同于一般的裁剪全连接层参数，这篇论文裁剪的是卷积核，而且把卷积核和特征图一起裁剪，统统丢掉。

2018-06-07 09:27:16 6479 3

原创【Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huff】论文笔记

追随Song Han大神的第二篇网络压缩论文（ICLR’16），论文链接：https://arxiv.org/abs/1510.00149 这篇论文是【Learning both Weights and Connections for Efficient Neural Networks】的升级版效果：大概能实现35-49倍的压缩。在ImageNet数据集上，将AlexNet所需的...

2018-06-06 11:00:19 759

原创【Learning both Weights and Connections for Efficient Neural Networks】论文笔记

追随Song Han大神的第一篇网络压缩论文（NIPS’15），论文链接：https://arxiv.org/abs/1506.02626网络权重参数修剪的基础篇。效果：作者用了4个网络实验 Lenet-300-100, pruning reduces the number of weights by 12× Lenet-5, pruning reduces the number of we...

2018-06-06 10:10:47 3767 19

原创 Tensorflow 1.0之后模型文件、权重数值的读取

保存的文件有4个： checkpoint model-parameters.bin-46000.data-00000-of-00001 model-parameters.bin-46000.index model-parameters.bin-46000.meta读取代码：from tensorflow.python import pywrap_tensorflowwith t...

2018-05-23 21:16:25 3008

原创 ROS下使用激光雷达RPLIDAR-A2进行SLAM完成地图的构建

ROS完成SLAM

2018-04-23 20:32:14 12786 7

原创 ROS 测试RPLIDAR-A2

最近在搞SLAM，想搞SLAM没有激光雷达怎么行，于是就买了个RPLIDAR先用用。这篇文章主要写在ROS中怎么测试RPLIDAR，以及观看雷达数据。首先可以直接从RPLIDAR的官网 http://www.slamtec.com/cn/Support 下载雷达的ROS驱动包，GitHub上直接下载 https://github.com/robopeak/rplidar_ros

2017-11-13 11:37:23 4666 7

原创 NVIDIA Jetson TX2编译内核解决无法使用游戏手柄XBOX360的问题

最近在TX2上面使用ROS时发现购买的XBOX360游戏手柄插入USB后，终端执行 ls /dev/input/ 并没有显示手柄的输入接口（js*）后来重新进行了内核的编译，编译成功后可以正确识别手柄。

2017-09-04 20:41:11 2300

我是一只比菜鸟还菜的菜鸟！