- 博客(24)
- 收藏
- 关注
RSS订阅转载 ubuntu解压命令大全
转载自：https://forum.ubuntu.com.cn/viewtopic.php?t=158893.tar解包：tar xvf FileName.tar打包：tar cvf FileName.tar DirName（注：tar是打包，不是压缩！）---------------------------------------------.gz解压1：gunzip FileN...
2018-10-11 10:13:11
549
原创 ChineseFoodNet: A Large-scale Image Dataset for Chinese Food Recognition 阅读笔记
1) 摘要(1) 提出了一个中国食物的数据集，叫做ChineseFoodNet；(2) 我们努力构建这个大规模的图像数据集，包括食品类别选择，数据收集，数据清洗和标签，特别是如何使用机器学习方法来减少手动标签工作，这是一个昂贵的过程。(3) 我们进一步提出了一种新颖的两步数据融合方法，称为“TastyNet”，它将来自不同CNN的预测结果与投票方法相结合。2) 介绍中国食物难以...
2018-10-10 16:03:24
6299
15
原创 Pairwise Confusion for Fine-Grained Visual Classification 阅读笔记
1) 摘要尽管细粒度视觉分类数据集的样本数量很少，但是却存在着显著的类内差异性和类别间相似性。然而，先前的工作通常采用定位或者分割来解决类内的差异性，但是，类别间相似性依然影响特征的学习从而降低分类器的性能。针对这一问题，我们提出了一种可端到端惊醒训练的新奇的优化方法--Pairwise Confusion(PC),在激活中故意引入混淆来减少过拟合。通过实验证明PC能够提高定位能力并且在六个细...
2018-10-09 20:45:30
3773
12
原创 Look Closer to See Better 阅读笔记
1) 摘要现有的细粒度图像识别的方法忽略了区域检测和细粒度特征学习是相互关联的，并且两者可以相互加强。所以提出了循环注意力卷积神经网络(RA-CNN)，该网络以相互增强的方式，在多个尺度上递归地学习判别性的区域注意力和基于区域的特征表示。每个尺度的学习包括一个分类子网络和一个注意力建议子网络(attention proposal sub-network (APN)),APN从完整的图像开始，以...
2018-10-08 14:25:48
1305
转载 模型算法评估指标
转载：https://zhuanlan.zhihu.com/p/34079183二分类问题的结果有四种：预测是positive-1和negative-0，true和false描述本次预测的对错。True Positive, TP：预测为1，且实际为1，即预测正确；False Positive, FP：预测为1，而实际为0，即预测错误；False Negative，FN：预测...
2018-07-24 18:31:25
966
转载 开发集和测试集
1.1 数据同分布当我们训练完成一个分类器，并想把它应用到实践的，可能遇到在训练的过程中效果很好，但是在实践的过程中效果非常差，这种情况说明我们训练分类器的数据集的分布和我们实践过程的数据的分布不同，导致算法的泛化能力很差。开发集和测试集数据分布不同将会导致开发的系统在开发集上表现良好，但在测试集上却表现不佳。这种情况下解决方案就不那么明确了，此时可能存在以下一种或者多种情况：1. 在...
2018-07-23 16:23:45
3275
原创 pytorch模型中间层特征的提取
转载自：https://blog.csdn.net/LXX516/article/details/80132228定义一个特征提取的类：#中间特征提取class FeatureExtractor(nn.Module): def __init__(self, submodule, extracted_layers): super(FeatureExtract...
2018-07-22 10:29:43
7903
3
转载 pytorch GPU和CPU模型相互加载
前言 我们在使用pytorch的过程，经常会需要加载模型参数，不管是别人提供给我们的模型参数，还是我们自己训练的模型参数，那么加载模型参数就会碰到一些情况，即GPU模型和CPU模型，这两种模型是不能混为一谈的，下面分情况进行操作说明。情况一：模型是GPU模型，预加载的训练参数也是GPU；模型是CPU模型，预加载的训练参数也是CPU，这种情况下我们都只用直接用下面的语句即可：...
2018-07-19 08:34:51
4880
1
原创 深入理解Dropout原理
1. 简介 深度神经网络包含多个非线性隐藏层，这使得它能够学习输入和输出之间的复杂关系，但我们不可否认的是：在实际情况中，即使测试集和训练集来自同一分布，训练集仍会存在噪声，那么网络就会同时学习数据和噪声的分布，这样就会容易导致过拟合。 在机器学习中，我们通常采用模型组合来提高模型的性能。然而，对于大型的神经网络来说，对多个网络模型的输出取平均的做法是耗费时间...
2018-07-17 20:55:42
2283
原创 深入理解偏差和方差
1. 偏差和方差 了解导致偏差(bias)和方差(Variance)的不同误差源有助于我们改进数据的拟合过程，从而产生更准确的模型。我们以三种方式定义偏差和方差：概念、图形和数学。1.1 概念 由偏差引起的误差：由偏差引起的误差被视为模型的期望或者平均预测与正确值之间的差异。当然，我们只有一个模型，之所以说期望或者平均预测值是可以假设多次重复整个模型的构建过程。偏...
2018-07-17 19:02:59
1721
原创 python 蒙太奇马赛克图像生成
1. 什么是蒙太奇马赛克图像蒙太奇马赛克图像就是由N多个小图像拼接而成的大图像，从远处看大图像是你的目标图像，近处看这个图像其实是由小图像组成的。效果就是这个样子的，用自己的图镇楼！！！2. 怎样生成蒙太奇马赛克图像？要想生成蒙太奇马赛克图像你要明确两个部分：第一个就你的目标图像，也就是从远处看你想要生成的图像；第二个部分就是图像数据集，也就是你希望用哪些照片来生成你想要的图像，这个数...
2018-07-11 13:39:11
4924
4
原创 python数据结构----链表
在数组之后，链表结构(linkedstructure)可能是程序中最常用的数据结构。链表结构中最简单的是单链表结构(singly linked structure)和双链表结构(doubly linkedstructure)。为了形象的表示链表结构，我们采用格子和指针来表示链表结构。1 单链表结构 单链表结构示意图： 单链表结构的用户，沿着一个外部的头链接(h...
2018-07-06 22:24:38
339
原创 python数据结构----数组
1. 一维数组Array类使用python列表来保存其项，常用的魔法方法包括初始化(__init__)、求其长度(__len__)、字符串表示(__str__)、迭代(__iter__)、获取指定位置的值(__getitem__)、设置指定位置的值(__setitem__)数组的操作主要有：增加数组的长度、减小数组的长度、在数组中插入新的一项、从数组中删除一项。1) 增加数组大小：如果逻...
2018-07-06 07:43:49
1548
原创 图像分类实操--分析数据集
分析数据集的好处：能够清楚的认识到自己所以处理的内容是什么，目前存在的问题有哪些，以及采用何种办法来解决。1)将数据集分成训练集和测试集刚开始打算用PIL里面的Image.save来保存图像，但没有成功，所有采用了Opencv来读取图像和保存图像。Code:importosimport randomimport cv2def split_dataset(datapath): # input:...
2018-07-01 09:36:46
1713
原创 卷积神经网络Densenet的分析与总结
1 简介 最近的研究表明，如果卷积神经网络中靠近输入和输出层之间存在短链接，那么网络可以更深、更精确，并且能够更有效的进行训练。我们接受这一观察并且提出密集卷积神经网络，该网络以前馈方式将每层连接到每个其他层。具有L层的传统的卷积神经网络，其有L个连接，当前层只与下一层有一个连接；而我们提出的DenseNet，其具有L(L+1)/2个连接，当前层与后边的每一层都有一个连接。对于每一层，...
2018-06-28 21:58:24
2104
原创 偏差和方差
1 定义 偏差指的是算法在大型训练集上的错误率， 方差指的是算法在测试集上的表现低于训练集的程度。 一些学习算法的改变能解决误差来源的第一个部分-偏差，提高算法在训练集上的性能；而一些改变能解决第二部分-方差，帮助算法从训练集到测试集上更好的泛化。建立偏差和方差的良好直觉能够为算法的选择带来有效的改变。2 例子1)训练错误率=1%， 测试错误率=11% 根据定义...
2018-06-28 18:29:09
2547
原创 卷积神经网络Resnet的分析与总结
1 简介 我们知道，增加网络深度能够提高准确率， 但是否是简单的堆叠更多的层就能学习到很好的网络？答案显然是否定的，众所周知的问题就是存在梯度消失和梯度爆炸现象。解决这两个问题通常是使用归一化方式的初始化以及中间层标准化。 另外一个问题是：随着网络深度的增加，准确率饱和并且迅速下降，我们称这种现象为退化(degradation)问题，这种问题并不是由于过拟合造成的，而是在合...
2018-06-26 18:28:31
1540
原创 卷积神经网络GoogLenet的分析与总结
GoogLenet主要是提出了一种叫做Inception的结构，该结构提高了网络内部计算资源的利用率，在增加网络的深度和宽度的同时保证计算预算不变。 一般的卷积神经网络都是堆叠卷积层、BN层、池化层还有一些全连接层，而GoogLenet真正摈弃了这些传统的结构。 如果想要提高神经网络的性能，最直接的办法就是增加网络的深度和宽度，深度是指网络的层数，宽度指网络中每一层...
2018-06-25 19:05:07
1428
原创 Deep Mutual Learning论文阅读笔记
摘要模型蒸馏是将知识从教师模型传给学生模型有效且被广泛使用的技术，典型的应用就是将一个很大并且能力很强的网络中集成到一个比较小的网络中，因为小的网络更加满足低存储和高效率的要求。在本文中，我们提出一种深度相互学习策略，在训练的过程中学生网络和教师网络可以相互合作学习，而不是单方向的学生从教师那里学习。我们的实验表明各种网络架构都能够从相互学习策略中受益，并且在CIFAR-100和行人重识别数据集M...
2018-06-22 10:33:02
7189
2
原创 卷积神经网络VGGNet的分析以及总结
1. 前序VGGNet的名称来源于VisualGeometry Group，它是牛津大学的计算机视觉组。VGGNet的论文题目是：VeryDeep Convolutional Networks For Large-Scale Image Recognition. 本文主要罗列一些VGGNet的创新点。最主要的贡献点：发现使用小尺寸的卷积核能够设计比较深的网络。2. 卷积神经网络架构训练图像的大...
2018-06-21 15:18:33
4220
原创 卷积神经网络原理
图像处理中，传统的神经网络采用全连接的方式，即输入层到隐藏层的神经元都是全部连接的，这样做将导致参数量巨大，使得网络训练耗时或者难以训练，而卷积神经网络通过局部连接、权值共享等方法避免这一困难。1. 卷积层1) 为什么使用卷积层或者卷积层的作用是什么？卷积层的作用是提取特征，主要是作用于局部区域获取图像的局部信息，卷积层相较于全连接层具有局部连接和权值共享的特点，局部连接...
2018-06-04 18:33:07
803
原创 深度学习中解决过拟合的方法
1. 正则化(regularization)正则化是指修改学习算法，使其降低泛化误差而非训练误差。1) L2正则化，也称权重衰减(weight decay)，正则项为加入正则化后，总的目标函数为：求其偏导:梯度下降更新权重:所以，加入权重衰减后会引起学习规则的修改，即在执行梯度更新之前先收缩权重向量。过拟合，就是拟合函数需要考虑每一个点，最终形成的拟合函数波动过大，在某些小区间内，函...
2018-05-25 13:59:54
5477
原创 训练神经网络的技巧
1. 数据的预处理操作：1) 如果使用预训练模型，一定要进行标准化；2) Shuffle，训练数据集要打乱顺序；3) 针对训练图像，选择适合的数据增强方法；2. 模型的操作1) 选择合适的模型初始化参数。2) 设置合适的学习率，使用预训练模型时，可以先设置为1e-4，然后再根据效果进行调整。3) 激活函数选择Relu，加入BN或者drop...
2018-05-23 19:47:27
359
原创 欠拟合、过拟合以及常见的解决方法
1. 怎样评估一个机器学习算法的好坏？机器学习的目的就是为了能够让先前未观测到的数据在训练模型上有良好的表现。这种在先前未观测到的输入上表现良好的能力称为泛化(generalization)。所以，泛化能力越强的模型对应的算法越好。2. 泛化误差具体怎样表达？通过度量模型在测试集上的性能，来评估机器学习模型的泛化误差。所以，模型在训练的过程中是最小化训练误差，而我们关注的是测试误差(泛...
2018-05-22 13:18:49
1854
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人