2019年04月_月臻

原创 PyTorch 学习笔记（八）：图像增强、ResNet完成Cifar10分类

一. 图像增强的方法一直以来，图像识别这一计算机视觉的核心问题都面临很多挑战，同一个物体在不同情况下都会得出不同的结论。对于一张图片，我们看到的是一些物体，而计算机看到的是一些像素点。如果拍摄照片的照相机位置发生了改变，那么拍得的图片对于我们而言，变化很小，但是对于计算机而言，图片得像素变化是很大得。拍照时得光照条件也是很重要的一个影响因素：光照太弱，照片里的物体会和背景融为一体，它们的像素点...

2019-04-24 18:54:57 1899

原创 PyTorch 学习笔记（七）：卷积神经网络案例分析——AlexNet、VGGNet、GoogLeNet、ResNet

我写这篇的目的主要是想熟悉一下PyTorch搭建模型的方法。一. AlexNet五个卷积层加3个全连接层，话不多说，直接上代码：import torchfrom torch import nnfrom torchstat import statclass AlexNet(nn.Module): def __init__(self, num_classes): ...

2019-04-24 13:01:14 2625

原创 PyTorch 学习笔记（六）：卷积神经网络概念（从头梳理一遍卷积神经网络的演变史），提取层结构，自定义初始化

一. 卷积神经网络的原理和结构在介绍卷积神经网络之前，先提出三个观点，正是这三个观点使得卷积神经网络能够真正起作用。1. 局部性对于一张图片而言，需要检测图片中的特征来决定图片的类别，通常情况下这些特征都不是由整张图片来决定的，而是由一些局部的区域来决定的。比如下图4.1中的鸟啄，该特征只存在于图片的局部中。2. 相同性对于不同的图片，如果它们具有同样的特征，这些特征会出现在图片的不...

2019-04-24 00:53:44 1779

原创 PyTorch 学习笔记（五）：多层全连接网络实现MNIST手写数字分类

先来介绍几个比较重要的函数1. torch.nn.CrossEntropyLoss()函数交叉熵损失函数，在pytorch中若模型使用CrossEntropyLoss这个loss函数，则不应该在最后一层再使用softmax进行激活，因为CrossEntropyLoss函数包括了softmax和计算交叉熵两个过程。分析实例：https://www.jianshu.com/p/e184663e2...

2019-04-22 21:24:25 1887

原创 PyTorch 学习笔记（四）：激活函数对比、权重初始化、防止过拟合的方法

一. 激活函数如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。1. SigmoidSigmoid非线性函数的数学表达式是σ(x)=11+e−x\sigma (x)=\frac{1}{1+e^{-x}}σ(x)=1...

2019-04-22 14:16:28 5486

原创 PyTorch 学习笔记（三）：线性回归、logistic回归

通过前面两篇笔记的学习已经基本了解了PyTorch里面的基本处理对象、运算操作、自动求导、以及数据处理方法、模型的保存和加载等基础知识。下来就是实战部分了。一. 线性回归1. 一维线性回归给定数据集 D={(x1,y1),(x2,y2),(x3,y3),...,(xm,ym)}D=\left \{ (x_{1},y_{1}),(x_{2},y_{2}),(x_{3},y_{3}),...,(...

2019-04-21 21:14:31 1317

原创 PyTorch 学习笔记（二）：张量、变量、数据集的读取、模组、优化、模型的保存和加载

一. 张量PyTorch里面最基本的操作对象就是Tensor，Tensor是张量的英文，表示的是一个多维的矩阵，比如零维就是一个点，一维就是向量，二维就是一般的矩阵，多维就相当于一个多维的数组，这和numpy是对应的，而且PyTorch的Tensor和numpy的ndarray可以相互转换，唯一不同的是PyTorch可以在GPU上运行，而numpy的ndarray只能在CPU上运行。我们先介绍...

2019-04-21 14:56:18 5984 1

原创 PyTorch 学习笔记（一）：简介

听了很多朋友的安利，然后我也蠢蠢欲动的想来试一下pytorch的水有多深！所以试水第一步：给我的pycharm装上pytorch，这个就不说了，网上教程很多，自己搜。下面的内容主要是廖星宇编著的《深度学习入门之PyTorch》这本书上的简介内容。一. 各种主流框架的对比Tensorflow：首先要介绍的就是Google 开源的Tensorflow，这是一款使用C++语言开发的开源数学计算软件...

2019-04-20 23:30:21 3621

原创 Learning Structured Sparsity in Deep Neural Networks

论文链接：https://arxiv.org/pdf/1608.03665.pdf代码链接：https://github.com/wenwei202/caffe/tree/scnn摘要计算资源的高需求严重阻碍了大规模深度神经网络在资源受限设备上的部署。在这篇工作中，我们提出了一种结构稀疏化学习方法（SSL method）来规范DNNs的结构(filters，channels，filter s...

2019-04-18 10:31:15 3400

原创 Faster R-CNN论文解读

论文链接：https://arxiv.org/abs/1506.01497代码链接：https://github.com/rbgirshick/py-faster-rcnn因为R-CNN到Fast R-CNN再到Faster R-CNN是一个递进的改进过程，所以对前两个不清楚的还是要先去读一读这两篇文章，我在下面提出自己的读书笔记（私以为还是写的很全面的，对很多其他博客里面没有提到的坑都有涉及...

2019-04-11 12:40:36 488

原创 Fast R-CNN论文解读

论文链接：https://arxiv.org/abs/1504.08083代码链接：https://github.com/rbgirshick/fast-rcnn.Abstract这篇论文提出了一种基于卷积神经网络做目标检测的算法——Fast R-CNN，它是建立在之前R-CNN的基础上使用深度卷积神经网络进行高效的目标检测。Fast R-CNN做了几点创新来提高训练和测试阶段的速度，同时提...

2019-04-09 18:16:18 15679 1

原创 R-CNN论文解读

论文链接：https://arxiv.org/abs/1311.2524论文题目：《Rich feature hierarchies for accurate object detection and semantic segmentation》2014【用于精确物体定位和语义分割的丰富特征层次结构】先来介绍一下几个基本的概念：分类是对图像中仅有的主体分类；定位就是对图像中仅有的主体...

2019-04-08 14:20:36 1045

原创偏差与方差、经验风险最小化、联合界、一致收敛—机器学习公开课第九讲

在之前的八讲中我们主要学习了一些具体的算法，但当我们之前学习的算法在实际问题中表现不出理想的效果时，我们接下来应该怎么做？接下来的三讲中我们学习到的主要内容是学习理论，它将会帮助我们找到上面问题的答案。本篇笔记对应的是机器学习公开课的第九讲，主要内容包括偏差与方差（Bias/Variance）、经验风险最小化(Empirical Risk Minimization,ERM)、联合界（Union ...

2019-04-07 09:50:10 484

原创 DenseNet(Densely Connected Convolutional Networks)论文解读

论文链接：https：//arxiv.org/pdf/1608.06993.pdf代码链接：https：//github.com/liuzhuang13/DenseNetAbstract

2019-04-06 14:35:53 1641

原创 subplots、add_subplots、math.floor()、math.ceil()函数

math.floor()函数math.floor(x)函数为向下取整，返回一个小于等于x的最大整数math.ceil()函数math.ceil(x)函数为向上取整，返回一个大于等于x的最小整数figure语法及操作1. figure语法说明figure(num=None, figsize=None, dpi=None, facecolor=None, edgecolor=None, f...

2019-04-04 22:27:13 736

原创 IGCV2(Interleaved Structured Sparse Convolutional Neural Networks)论文解读

Abstract在本篇论文中，我们继续研究如何设计高效卷积神经网络结构来消除卷积核的冗余。目前来说，消除卷积核中的冗余有以下几种方法：减少卷积操作；低精度卷积核，即做一些量化，从浮点到定点转化；低秩卷积核，即减少卷积核的个数或者通道数；低秩卷积核的组合，，担心单纯的减少卷积核的个数或者通道数会对性能造成影响，所以采用多个低秩卷积核组合在一起达到原来的密集卷积核的作用；稀疏卷积核，分为...

2019-04-03 22:22:14 1280

h__ang的博客