![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
志小
假以时日
展开
-
神经网络:轻量级网络--MobileNet和MobileNet2解析(二)
一、引言 前文中提到MobileNet主要通过深度可分离卷积方法的替换传统的卷积方法减少运算量来优化神经网络,MobileNet2基于MobileNet,一是在DW卷积之前加了一个 PW 卷积(改变通道数)到达升维优化计算的效果,二是去掉第二个PW 的激活函数(称之为 Linear Bottleneck)避免因低维导致特征值遭到破坏。 本文主要内容主要解释Mobi...原创 2019-03-14 16:31:19 · 968 阅读 · 0 评论 -
Nvidia,CUDA,CuDNN安装记录
本文是个人的经验,只提供一些思路。每一台电脑都值得尊重与耐心。引言CPU 与 GPU 区别从上图可以看出GPU(图像处理器,Graphics Processing Unit)和CPU(中央处理器,Central Processing Unit)在设计上的主要差异在于GPU有更多的运算单元(如图中绿色的ALU),而Control和Cache单元不如CPU多,这是因为GPU在进行并行计...原创 2019-04-11 10:57:36 · 672 阅读 · 0 评论 -
Caffe框架整理
引言Caffe 全称Convolutional Architecture for Fast Feature Embedding,是一个计算 CNN 相关算法的框架,用C++ 和 Python实现的。Caffe 的优点与局限性:优点: 第一个主流的工业级深度学习工具; 专精于图像处理局限性:它有很多扩展,但是由于一些遗留的架构问题,不够灵活且对递归网络和语言建模的支持很差;基于层的网...原创 2019-04-08 17:24:57 · 806 阅读 · 0 评论 -
日常笔记
引言本笔记只是方便个人查阅,记录深度学习的日常小技巧。1. 编译器 clang 和 g++ 切换# 安装sudo apt-get install llvmsudo apt-get install clang# 切换默认 C++ 编译器:sudo update-alternatives --config c++ # 对于 c 语言sudo update-alternat...原创 2019-04-13 13:57:00 · 251 阅读 · 0 评论 -
神经网络:ResNet 论文学习总结(一)
引言对于深度学习初学者,对网络结构总是存在模糊的认识,不能确切的把握结构的要义。在学习探索过程中,对网络结构算法的有效性和准确度没有很高的要求,经常不考虑时间成本和效率因素,但在工作和实际场景应用时,存在着各种硬性的要求,在较短或者很短的时间内训练出较好或者符合应用场景最低要求网络模型。对于 ResNet 网络结构,本人由于没有深刻的学习和相关的总结,在实习和学习过程中总是碰壁。非常感谢实...原创 2019-04-16 22:10:00 · 2472 阅读 · 2 评论 -
CNN网络优化学习总结——从MobileNet到ShuffleNet
CNN网络优化学习总结——从MobileNet到ShuffleNet参考链接,值得参阅 注意文中提到的链接此作者的 实验环境搭建 部分博文也值得参阅转载 2019-04-26 11:45:45 · 323 阅读 · 0 评论 -
caffe 学习系列(3):配置 CAFFE 的 python 接口
参考链接参考链接原创 2019-04-15 15:10:35 · 187 阅读 · 0 评论 -
神经网络:ResNet 论文学习总结(二)-- 模型微调
引言本片博客是对ResNet 网络模型的微调,论文链接,讲解链接。原始的ResNet结构在细节之处还有微调优化的空间,在论文《Bag of Tricks for Image Classification with Convolutional Neural Networks》中,作者从高效训练、模型微调、训练技巧三个方面给出了一些实践技巧。本文只讲模型微调部分,感兴趣可以继续阅读论文或阅读讲解链接...原创 2019-04-18 23:42:11 · 3540 阅读 · 2 评论 -
常用的轻量化网络结构:SqueezeNet、MobileNet、ShuffleNet、Xception
引言自2012年AlexNet以来,卷积神经网络(简称CNN)在图像分类、图像分割、目标检测等领域获得广泛应用。随着性能的要求越来越高,AlexNet 已经无法满足大家的需求,于是乎各路大牛纷纷提出性能更优越的 CNN 网络,如VGG、GoogLeNet、ResNet、DenseNet等。由于神经网络的性质,为了获取更好的性能,网络的层数不断增加,从7层 AlexNet 到16层 VGG,再从...原创 2019-04-29 17:27:44 · 9114 阅读 · 1 评论 -
查看CUDA版本和CUDNN版本
cuda 一般安装在 /usr/local/cuda 路径下,该路径下有一个 version.txt 文档,里面记录了cuda 的版本信息:命令行:cat /usr/local/cuda/version.txt同理,cudnn 的信息在其头文件里cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2...原创 2019-03-25 10:10:44 · 1130 阅读 · 0 评论 -
神经网络: SSD目标检测网络解析
一、SSD(Single Shot MultiBox Detector)简介 SSD是2016年ICCV的一篇论文,是目前为止主要的目标检测算法。 算法的主要优点:速度比Faster-Rcnn快,精度比Yolo高。在兼顾速度的同时,精度也很高。 为提高准确率在不同特征图下面(不同尺度下面)进行结果的预测,特征金字塔预测方式。 采用了END-TO-END 的训...原创 2019-03-13 11:36:42 · 9030 阅读 · 0 评论 -
网络结构简述--以Caffe为例
一、深度学习网络简介 深度学习网络(Net)是一个组合模型,它是由相互连接的层(Layers)组合而成。Caffe就是一种组建深度学习网络的工具,它按照一定的策略,一层一层的搭建出自己的模型。Caffe将所有的信息数据定义为Blobs,从而进行便利的操作和通讯。Blob是Caffe框架中一种标准的数组,一种统一的内存接口,它描述了信息是如何存储的,以及如何在层之间通讯的。 ...原创 2019-03-14 17:58:46 · 253 阅读 · 0 评论 -
Caffe网络结构层参数详解
一、简介 prototxt 文件是 Caffe 的配置文件,用于保存CNN的网络结构和配置信息。prototxt文件有三种,分别是deploy.prototxt,train_val.prototxt和solver.prototxt。二 、solver.prototxt 文件 solver.prototxt是 Caffe的配置文件,里面定义了网络训练时候的各种...原创 2019-03-15 05:41:57 · 505 阅读 · 1 评论 -
Caffe数据层参数详解
一、简介 运行caffe,需要先创建一个模型(model),如比较常用的Lenet等, 而一个模型由多个屋(layer)构成,每一屋又由许多参数组成。所有的参数都定义在caffe.prototxt这个文件中。要熟练使用caffe,最重要的就是学会配置文件(prototxt)的编写。 层有很多种类型,比如Data,Convolution,Pooling等,层之间的数据...原创 2019-03-15 06:40:54 · 275 阅读 · 0 评论 -
Caffe数据层参数详解
一、引言 本文主要讲解Caffe中的视觉层(Vision Layers)的参数,视觉层包含 Convolution,Pooling,Local Response Normalization(LRN),im2col等层。接下来将展开讲解:二、 Convolution 层 Convolution层即卷积层,是神经网络(CNN)的核心层。type Convo...原创 2019-03-15 20:38:51 · 319 阅读 · 0 评论 -
Caffe激活层参数详解
一、引言 在激活层中,对输入数据进行激活操作(实际上就是一种函数变换),是逐元素进行运算的。从bottom 得到一个 blob 数据输入,运算后从 top 输出一个 blob 数据。在运算过程中,没有改变数据的大小,即输入数据和输出数据大小是相等的。常用的激活函数由 sigmoid、tanh、relu 等,下文展开讲解。二、 Sigmoid 激活函数 对于每个输...原创 2019-03-15 22:14:40 · 246 阅读 · 0 评论 -
Caffe其他常用层参数详解
一、引言 本文讲解Caffe其他常用层的参数,包括:softmax_loss层,Inner Product 层, accuracy 层,reshape 层和 dropout 层及它们的参数配置。二、softmax_loss 层 softmax_loss 层和 softmax 层的计算大致是相同的。 softmax 是一个分类器,计算的是类别的概率(likelih...原创 2019-03-16 15:09:25 · 257 阅读 · 0 评论 -
神经网络:LeNet-5解析
一: 卷积神经网络(CNN: Convolutional Neural Network) CNN是由一个或多个卷积层和顶端的全连通层组成,同时也包括关联权重和池化层等。下图就是一个经典的神经网络。 卷积层:卷积层是卷积神经网络的核心层,而卷积(Convoltuion)是卷积层的核心。卷积运算就是用卷积分别乘以输入张量中的每一个元素,然后输出一个代表每个输入信息的张量...原创 2019-03-12 20:49:54 · 1359 阅读 · 0 评论 -
神经网络:轻量级网络--MobileNet和MobileNet2解析(一)
一、简介 深度卷积神经网络将多个计算机视觉任务性能提升到一个新高度,总体的趋势是为了达到更高的准确性构建更深更复杂的网络,但是这些网络在尺度和速度上很难满足移动终端设备的要求。 MobileNet 描述一个高效的网络架构,允许通过两个超参数构建非常小、低延迟、易满足嵌入式终端设备要求的模型。设计团队在进一步深入的研究了 Depthwise Separable Con...原创 2019-03-13 10:23:45 · 1796 阅读 · 0 评论 -
Deep-compression 阅读笔记
参考链接1 参考链接2参考链接3 参考链接4 参考链接5 参考链接6引言--Why模型压缩一直是机器学习的一个重要方向,并且一个模型不可能只在GPU和服务器上运行才可以。只有通过硬件化实现才能落地。但是神经网络也是非常耗费存储和耗费运算的。LeNet-5是一个简单的手写数字识别网络,AlexNet和VGG-16则用于图像分类,刷新了ImageNet竞赛的成绩,但是就其模型尺寸来...原创 2019-04-30 10:52:07 · 343 阅读 · 0 评论