20170328#cs231n#12.CNNs in Practice

最新推荐文章于 2024-09-26 05:40:28 发布
最新推荐文章于 2024-09-26 05:40:28 发布
阅读量663 收藏
点赞数
分类专栏： 机器学习 图像处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SPARKKKK/article/details/67651254
版权

得到更多数据

在小数据集用数据增强和迁移学习是很合适的

Data augmentation数据增强

这是一种很容易实现的方法。
在图片输入CNN之前先做一些变化，应该是改变了每一个pixel，但是图片的label保持不变。可能减小过拟合的发生。

  • Horizontal flips 水平翻转
  • Random crops/scales 随机裁剪/缩放图片（在test的时候要对test set进行裁剪缩放水平翻转等操作，生成至少10张图片，然后输入CNN进行前向传播计算得分的平均值）
  • Color jitter 颜色变动（最简单的是改变对比度，但不常用；经常是对RGB的pixels采用PCA）
  • 平移，旋转，伸长，裁剪等等等

Data augmentation就是在增加训练集防止过拟合，而dropout随机去掉网络的某些部分。

Transfer learning迁移学习

先把网上下载的模型把前面的层给freeze固定下来。
然后将数据输入之前被freeze的部分进行前向传播然后把特征输出到硬盘中。
然后把最后一层重新随机初始化（最后一层之前的层用原来的初始化即可），用上面储存在硬盘的数据训练最后几层。
最后将freeze的网络部分和我们训练出来的部分相结合，就是最后的新模型。

在训练的时候有三种学习率

  • freeze的层学习率为0
  • 下图中红框的FC和conv学习率为原来从网上下载来模型的1/100
  • 最后一层重新随机初始化的softmax(或被更改为别的层)学习率为下载来模型的1/10

  1. 把整个网络固定，只训练最后几层
  2. 当最后几层快要收敛的时候再对这些层微调

关于CNN的其他东西

How to stack convolutions 如何一层层建立CNN

3个3×3的卷积层和1个7×7的卷积层函数是相似的，因为看到的是同样大小的输入区域

由于CONV层后面还有ReLU，所以相对于7×7，3×3的方式有更多非线性单元，但是参数却更少

如果用1×1的receptive field小，但是却有奇效，如下图的Bottleneck sandwich结构

甚至有一些3×1和1×3交替使用的

How to stack convolutions：Recap

How to compute them 如何计算卷积神经网络

一种做法是im2col，然后再利用矩阵乘法


上图这种做法会耗费大量的内存，因为感受野会有很多重叠的地方，不过这个问题并不是很大。。。。


这是用快速傅里叶变换去计算卷积，但FFT只在大滤波器上提升速率明显，在3*3滤波器上提升不是很明显

Strassen’s Algorithm也是一种提高矩阵乘法速率的算法

Implementation Details实现细节

CPU有1~16个高速核心，对串行处理的比较好
GPU有很多个低速核心，对并行处理的比较好

对于CPU，一个线程在读取和预处理数据，一个线程在发送数据给GPU
实际中会把所有的图像预处理转成一个很长的pixel序列，虽然会占用很大空间，但是实际中还是会这样做

在深度学习中一般还是用32位浮点数而不是64位，这是为了提高计算速率和可存储的数字的数量

16位浮点数可能会更快，但是更可能会有数值精度问题
有一种技术叫做随机四舍五入

LiuSpark
关注
专栏目录
(Review cs231n) CNN in Practice
weixin_30826095的博客
04-09 98
Make the most of your data Data augmentation 加载图像后，对图像做一些变化，这些变换不改变图像的标签。 通过各种变换人为的增大数据集，可以避免过拟合提高模型的性能，最简单的数据增强就是横向翻转。 1. horizontal flips 2. random crops and scales 对图像进行随机的尺度和位置上选择图像截图；缩放...
目标检测之深入理解YOLOv2
qq_40716944的博客
03-20 1045
论文： YOLO9000：Better，Faster，Stronger 论文链接：https://arxiv.org/abs/1612.08242 YOLOV1论文详解：https://blog.csdn.net/qq_40716944/article/details/104908692 YOLOV2论文发表在CVPR2017。YOLOV2算法在v1的基础上可以说是飞跃性提升，吸取诸子百家之优...
计算机视觉中的深度学习10: 神经网络的训练1
Mr.Phoebe的专栏
09-20 935
Slides：百度云 提取码: gs3n 第9课讲的是神经网络的软硬件，感觉比较科普，不做总结。 总览 单次设置 激活函数 数据预处理 权重初始化 正则化 动态训练 学习率规划 large-batch 训练； 超参数优化 训练后 模型融合 迁移学习 今天第一讲讲解的是第一点，第二讲将介绍第二点和第三点。 激活函数 之前也介绍了激活函数是什么，不同的激活函数在训练上，在效果上，在解决问题的方面都各有侧重。下面一一来介绍。 Sigmoid 非常常用的激活函数，在很多线性分类的machi
lecture7,Training Neural Networks, Part 2
卓为的博客
10-23 274
1,Fancier optimizationsgd存在的问题： Very slow progress along shallow dimension, jitter along steep direction。if loss changes quickly in one direction and slowly in another. local minima or saddle point A,
深度学习入门（下）-实例，技巧，框架
升级迭代
02-12 591
15.分类与回归（=Location）任务应用详解 定位就是给框出来，用回归来做。 Location as regression：通过预测结果，不断拟合groudtruth的过程 一些技巧 对于某一任务，找合适的模型。一般，AlexNet和VGG就能够解决很多问题了。然后finetune。把别人训练好的已经很收敛的模型拿过来，结合自身任务进行finetune，方便快速收敛。 ...
20170316#cs231n#8.Convolutional Neural Networks
LiuSpark
03-16 2324
Convolutional Neural Networks (CNNs / ConvNets)
CS231n Convolutional Neural Networks for Visual Recognition 自翻译
Linford_Xuan的博客
07-05 566
CS231n Convolutional Neural Networks for Visual Recognition Convolutional Neural Networks (CNNs / ConvNets) Convolutional Neural Networks are very similar to ordinary Neural Networks from the previous...
视觉识别：CS231n卷积神经网络
sunshine_010的博客
02-02 1860
原译文地址请猛戳这里 目录： 架构概述 卷积网络层 卷积层 池化层 归一化层 全连接层 将全连接层转换为卷积层 卷积网络架构 层模式 层大小模式 案例研究LeNet AlexNet ZFNet GoogLeNet VGGNet 计算考虑 其他参考 卷积神经网络(CNNs / ConvNets) 卷积神经网络与上一章中的普通神经网络非常相似：它们
斯坦福最新2016年cs231n课程ppt-11
最新发布
10-27
CNNs in Practice Working with CNNs in practice: ● Making the most of your data ○ Data augmentation ○ Transfer learning ● All about convolutions: ○ How to arrange them ○ How to compute them fast...
机器学习(Machine Learning)&深度学习(Deep Learning)资料
weixin_30756499的博客
07-07 1万+
##机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 1)---#####注:机器学习资料[篇目一](https://github.com/ty4z2008/Qix/blob/master/dl.md)共500条,[篇目二](https://github.com/ty4z2008/Qix/blob/master/dl2.md)开始更新...
ViTDet原理与代码实例讲解：基于视觉transformer的目标检测模型
AI天才研究院
09-26 1265
solutionViTDet（Vision Transformer for Detection）是一种基于视觉transformer的目标检测模型，它将transformer架构应用于计算机视觉任务中的目标检测领域。传统的目标检测模型通常基于卷积神经网络（CNN），而ViTDet通过引入transformer的自注意力机制，旨在提高检测的准确性和灵活性。Transformer在自然语言处理领域的成功应用Vision Transformer (ViT) 在图像分类任务上的突破性进展。
一步一步分析讲解深度神经网络基础-Convolutional Neural Network
热门推荐
凡难事必作于细的博客
12-25 2万+
Convolutional Neural Network 参考http://cs231n.github.io/convolutional-networks/history Convolutional Neural Networks (CNNs / ConvNets)Convolutional Neural Networks are very similar to ordinary Neural
【翻译笔记】Squeeze-and-Excitation Networks
Kaleidoscope的博客
04-27 2999
卷积神经网络（CNN）的核心模块是卷积块，它使网络能够融合每层局部感受野内的空间和通道信息构建信息特征。 大量的先前研究已经研究了这种关系的空间结构，试图通过在整个特征层次上提高空间编码的质量来增强CNN的表示能力。 在这项工作中，我们将重点放在通道关系上，并提出一个新颖的体系结构单元，我们称之为“挤压和激励”（SE）块，该模块通过显式建模通道之间的相互依赖性来自适应地重新校准通道方式的特征响应。 我们展示了模块堆叠在一起以形成的SENet架构，该架构可以非常有效地概括不同数据集。
data augmentation
烧卖的技术成长之路
07-24 5583
一般比较有效的有random crop, random mirror, random resize (scale augmentation)。以上三种实现简单而且有效，基本能复现resnet的结果。至于color augmentation, random rotation, aspect ratio augmentation感觉效果几乎没有，尤其是color augmentation，貌似还有一点点
GAN——ModeCollapse
LiuSpark
05-21 1万+
ModeCollapse
#cs231n#Assignment2：FullyConnectedNets.ipynb
LiuSpark
03-19 4276
根据自己的理解和参考资料实现了一下 FullyConnectedNets.ipynbFully-Connected Neural NetsIn the previous homework you implemented a fully-connected two-layer neural network on CIFAR-10. The implementation was simple but
20170326#cs231n#11.Recurrent Neural Networks 循环神经网络RNN
LiuSpark
03-26 2097
主要参考资料简书——[译] 理解 LSTM 网络 csdn——循环神经网络(RNN, Recurrent Neural Networks)介绍 cs231n RNN PPTRNNkarpathy/min-char-rnn.py https://gist.github.com/karpathy/d4dee566867f8291f086 图片转文字描述CNN→RNN把CNN最后的分类器去掉，然后
#cs231n#Assignment2：BatchNormalization.ipynb
LiuSpark
03-19 2087
根据自己的理解和参考资料实现了一下 BatchNormalization.ipynbBatch NormalizationOne way to make deep networks easier to train is to use more sophisticated optimization procedures such as SGD+momentum, RMSProp, or Adam.
#cs231n#Assignment2：ConvolutionalNetworks.ipynb
LiuSpark
03-20 2062
根据自己的理解和参考资料实现了一下 ConvolutionalNetworks.ipynbConvolutional NetworksSo far we have worked with deep fully-connected networks, using them to explore different optimization strategies and network archit
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值