- 博客(29)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 SPP原理及实现
一、为什么需要SPP首先需要知道为什么会需要SPP。我们都知道卷积神经网络(CNN)由卷积层和全连接层组成，其中卷积层对于输入数据的大小并没有要求，唯一对数据大小有要求的则是第一个全连接层，因此基本上所有的CNN都要求输入数据固定大小，例如著名的VGG模型则要求输入数据大小是(224*224)。固定输入数据大小有两个问题：1.很多场景所得到数据并不是固定大小的，例如街景文字基本...
2019-03-19 12:58:40
20317
11
转载 理解Dilation convolution
论文：Multi-scale context aggregation with dilated convolutions简单讨论下dilated conv，中文可以叫做空洞卷积或者扩张卷积。首先介绍一下dilated conv诞生背景[4]，再解释dilated conv操作本身，以及应用。首先是诞生背景，在图像分割领域，图像输入到CNN（典型的网络比如FCN[3]）中，FCN先像传统的C...
2019-03-09 21:23:56
5323
转载 Python 中各种imread函数的区别与联系
先来看看常用的读取图片的方式：PIL.Image.openscipy.misc.imreadscipy.ndimage.imreadcv2.imreadmatplotlib.image.imreadskimgecaffe.io.load_iamge 知乎上有篇帖子专门介绍了这些方法的性能Python的各种imread函数在实现方式和读取速度上有何区别？这些方法可以分为四大家族PI...
2019-01-09 23:33:47
1441
原创 CIFAR-10数据集
CIFAR-10 该数据集共有60000张彩色图像，这些图像是32*32，分为10个类，每类6000张图。这里面有50000张用于训练，构成了5个训练批，每一批10000张图；另外10000用于测试，单独构成一批。测试批的数据里，取自10类中的每一类，每一类随机取1000张。抽剩下的就随机排列组成了训练批。注意一个训练批中的各类图像并不一定数量相同，总的来看训练批，每一类都有5000张图。...
2018-12-26 11:55:32
408
原创 BN、LN、IN、GN的异同
从左到右依次是BN，LN，IN，GN 众所周知，深度网络中的数据维度一般是[N, C, H, W]或者[N, H, W，C]格式，N是batch size，H/W是feature的高/宽，C是feature的channel，压缩H/W至一个维度，其三维的表示如上图，假设单个方格的长度是1，那么其表示的是[6, 6，*, * ] 上图形象的表示了四种norm的工作方式：...
2018-12-21 20:20:32
18976
6
原创 神经网络中对图片的操作
1.读取图片from imageio import imreadkitten, puppy = imread(r'E:\CV_deepLearning\code\cs231n-camp-master\assignment\assignment2kitten.jpg'),\ imread(r'E:\CV_deepLearning\code\cs231n-camp-master\assign...
2018-12-20 21:18:22
1081
转载 CS231n课程笔记：神经网络笔记3（下）
原文如下内容列表：梯度检查 合理性（Sanity）检查 检查学习过程 损失函数 训练与验证准确率 权重：更新比例 每层的激活数据与梯度分布 可视化 参数更新 译者注：下篇翻译起始处 一阶（随机梯度下降）方法，动量方法，Nesterov动量方法 学习率退火 二阶方法 逐参数适应学习率方法（Adagrad，RMSProp） 超参数调优 评价 ...
2018-12-18 18:28:12
232
转载 CS231n课程笔记：神经网络笔记3（上）
原文链接：https://zhuanlan.zhihu.com/p/21741716?refer=intelligentunit内容列表：梯度检查 合理性（Sanity）检查 检查学习过程 损失函数 训练集与验证集准确率 权重：更新比例 每层的激活数据与梯度分布 可视化 译者注：上篇翻译截止处 参数更新 一阶（随机梯度下降）方法，动量方法，Nesterov动量...
2018-12-16 19:00:34
206
转载 CS231n课程笔记：神经网络笔记1（下）
原文链接：https://zhuanlan.zhihu.com/p/21513367?refer=intelligentunit内容列表：不用大脑做类比的快速简介 单个神经元建模 生物动机和连接 作为线性分类器的单个神经元 常用的激活函数 神经网络结构 译者注：下篇翻译起始处 层组织 前向传播计算例子 表达能力 设置层的数量和尺寸 小节 参考文献神...
2018-12-15 22:33:55
157
转载 CS231n课程笔记：神经网络笔记 2
原文链接：https://zhuanlan.zhihu.com/p/21560667?refer=intelligentunit内容列表：设置数据和模型 数据预处理 权重初始化 批量归一化（Batch Normalization） 正则化（L2/L1/Maxnorm/Dropout） 损失函数 小结设置数据和模型在上一节中介绍了神经元的模型，它在计算内积后进行非...
2018-12-09 21:19:57
371
转载 Batch Normalization的作用
链接：https://www.zhihu.com/question/38102762/answer/3916490401. 不使用Batch Normalization1.首先，对某层的前向传播过程有：2.针对该层的反向传播过程为（由于我们关心的是梯度的连续反向传播过程，故不关注权重的梯度）：3.进一步推导可得，连续多层的梯度反向传播过程为：由此我们可以初步看出，在梯度...
2018-12-05 22:32:36
2423
转载 CS231n课程笔记翻译：卷积神经网络笔记
原文链接：https://zhuanlan.zhihu.com/p/22038289?refer=intelligentunit内容列表：结构概述 用来构建卷积神经网络的各种层 卷积层 汇聚层 归一化层 全连接层 将全连接层转化成卷积层 卷积神经网络的结构 层的排列规律 层的尺寸设置规律 案例学习（LeNet / AlexNet / ZFNet /...
2018-12-03 17:38:20
559
转载 CS231n课程笔记翻译：神经网络笔记1（上）
原文链接：https://zhuanlan.zhihu.com/p/21462488?refer=intelligentunit内容列表：不用大脑做类比的快速简介 单个神经元建模 生物动机和连接 作为线性分类器的单个神经元 常用的激活函数译者注：上篇翻译截止处 神经网络结构 层组织 前向传播计算例子 表达能力 设置层的数量和尺寸 小节 参考文献快...
2018-12-02 21:22:58
303
原创 pytorch保存训练好的模型
PyTorch提供了两种保存训练好的模型的方法。 第一种是只保存模型参数，这也是推荐的方法：#保存torch.save(the_model.state_dict(), PATH)#读取the_model = TheModelClass(*args, **kwargs)the_model.load_state_dict(torch.load(PATH)) 第二种方法保存整个模...
2018-12-01 23:42:59
5936
原创 将线性分类器的权重W展示为类别的模板图片
假设y=XW+b用于图片的分类,最后训练出的W如下（随机取一个）import matplotlib.pyplot as pltimport numpy as npW = np.random.randn(32*32*3,10)现在将W展示为10个类别的模板图片：W = W.reshape(32,32,3,-1)W_min, W_max = np.min(W), np.max(...
2018-11-29 23:50:29
313
原创 过拟合的原因以及解决办法
1、什么是过拟合 欠拟合是指模型没有能够很好的表现数据的结构，而出现的拟合度不高的情况。 过拟合是指模型过分的拟合训练样本，但对测试样本预测准确率不高的情况，也就是说模型泛化能力很差。如下图所示： 左边的结果过度拟合训练样本，导致过拟合。2、过拟合的原因 （1）数据特征的角度 数据噪声导致的过拟合：噪声具有一定的随机性与欺骗性，如果把噪声作为有效信息的话，将会导致过拟合。 ...
2018-11-25 22:08:50
12587
原创 CS231n课程 p1-p10总结
1.线性分类计算损失函数时，为什么要加入正则化损失：1）如果W满足：L=0，则aW(a>1)也满足L=0。所以无法确定哪个更优。2）正则化也可以减轻模型的复杂度。3）正则化可以保证每个特征有一定的效用，不会使某一特征特别重要，提高模型的泛化能力，避免过拟合。（正则化可以对大数值权重进行惩罚，可以提升其泛化能力，因为这就意味着没有哪个维度能够独自对于整体分值有过大的影响。举个例...
2018-11-25 21:38:48
131
转载 CS231n课程笔记：反向传播
原文链接：https://zhuanlan.zhihu.com/p/21407711?refer=intelligentunit内容列表：简介 简单表达式和理解梯度 复合表达式，链式法则，反向传播 直观理解反向传播 模块：Sigmoid例子 反向传播实践：分段计算 回传流中的模式 用户向量化操作的梯度 小结简介目标：本节将帮助读者对反向传播形成直观而专业的理解。反向传...
2018-11-24 21:19:48
228
转载 CS231n课程笔记：最优化笔记（下）
原文链接：https://zhuanlan.zhihu.com/p/21387326?refer=intelligentunit内容列表：简介 损失函数可视化 最优化 策略#1：随机搜索 策略#2：随机局部搜索 策略#3：跟随梯度 梯度计算 译者注：下篇起始处 使用有限差值进行数值计算 微分分析计算梯度 梯度下降 小结梯度计算计算梯度有两种方法：一个...
2018-11-22 11:09:59
233
转载 CS231n课程笔记：最优化笔记（上）
原文链接：https://zhuanlan.zhihu.com/p/21360434?refer=intelligentunit内容列表：简介 损失函数可视化 最优化 策略#1：随机搜索 策略#2：随机局部搜索 策略#3：跟随梯度 译者注：上篇截止处 梯度计算 使用有限差值进行数值计算 微分计算梯度 梯度下降 小结简介在上一节中，我们介绍了图像分类任...
2018-11-21 22:02:37
215
转载 CS231n：线性分类笔记（下）
原文链接：https://zhuanlan.zhihu.com/p/21102293?refer=intelligentunit原文如下内容列表：线性分类器简介 线性评分函数 阐明线性分类器 损失函数 多类SVM Softmax分类器 译者注：下篇翻译起始处 SVM和Softmax的比较 基于Web的可交互线性分类器原型 小结Softmax分类器SVM是最...
2018-11-21 11:06:09
181
转载 CS231n课程笔记翻译：线性分类笔记（中）
原文链接：https://zhuanlan.zhihu.com/p/20945670?refer=intelligentunit原文如下内容列表：线性分类器简介 线性评分函数 阐明线性分类器 损失函数 多类SVM 译者注：中篇翻译截止处 Softmax分类器 SVM和Softmax的比较 基于Web的可交互线性分类器原型 小结损失函数 Loss functio...
2018-11-20 22:45:08
171
原创 CS231n-assignment1作业knn实现总结
knn实现部分重要的是距离的求法。作业中提到了三种求距离的方法。分别用两个循环，一个循环和无循环（用矩阵点积）。两个循环的方法：def compute_distances_two_loops(self, X): num_test = X.shape[0] #500 num_train = self.X_train.shape[0] #5000 dists = ...
2018-11-20 11:03:01
314
转载 CS231n课程笔记2：线性分类上
原文链接：https://zhuanlan.zhihu.com/p/20918580?refer=intelligentunit内容列表：线性分类器简介 线性评分函数 阐明线性分类器 线性分类上一篇笔记介绍了图像分类问题。图像分类的任务，就是从已有的固定分类标签集合中选择一个并分配给一张图像。我们还介绍了k-Nearest Neighbor （k-NN）分类器，该分类器的基本思想...
2018-11-04 15:34:24
138
转载 CS231n课程笔记1：图像分类下
原文链接：https://zhuanlan.zhihu.com/p/20900216内容列表验证集、交叉验证集和超参数调优 Nearest Neighbor的优劣 小结 小结：应用kNN实践用于超参数调优的验证集k-NN分类器需要设定k值，那么选择哪个k值最合适的呢？我们可以选择不同的距离函数，比如L1范数和L2范数等，那么选哪个好？还有不少选择我们甚至连考虑都没有考虑到（比...
2018-11-04 11:03:02
153
转载 CS231n课程笔记1：图像分类上
原文链接：https://zhuanlan.zhihu.com/p/20894041?refer=intelligentunit%EF%BC%89%C2%A0内容列表：图像分类、数据驱动方法和流程 Nearest Neighbor分类器 k-Nearest Neighbor 从分类标签集合中找出一个分类标签，最后把分类标签分配给该输入图像。虽然看起来挺简单的，但这可是计算...
2018-11-03 23:07:16
323
原创 KNN实现简单的数组分类（python实现）
一 . K-近邻算法（KNN）概述 最简单最初级的分类器是将全部的训练数据所对应的类别都记录下来，当测试对象的属性和某个训练对象的属性完全匹配时，便可以对其进行分类。但是怎么可能所有测试对象都会找到与之完全匹配的训练对象呢，其次就是存在一个测试对象同时与多个训练对象匹配，导致一个训练对象被分到了多个类的问题，基于这些问题呢，就产生了KNN。 KNN是通过测量不同特征值之间的...
2018-11-02 14:29:13
1545
1
原创 利用Python进行社会财富分配问题模拟（数据分析笔试题）
问题描述：一个财富分配游戏房间里有100个人，每人都有100元钱，他们在玩一个游戏。每轮游戏中，每个人都要拿出一元钱随机给另一个人，最后这100个人的财富分布是怎样的？模型假设：1. 每个人初始基金100元。2. 从18岁到65岁，每天玩一次，简化运算按照一共玩18000轮3. 每天拿出一元钱，并且随机分配给另一个人，即每轮有100元的现金流动。4. 财富值可以为负值要求：...
2018-07-31 12:59:56
3462
3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人