deep-learning
关注
分享
扫一扫
文章平均质量分 83
每天都要深度学习
Machine learning and deep learning.
展开
-
【Active Learning - 01】 2013_CVPR_Adaptive Active Learning for Image Classification 论文笔记
主动学习阅读资料：【Active Learning - 00】 主动学习概念/重要论文目录/重要代码&资源【Active Learning - 01】 2013_CVPR_Adaptive Active Learning for Image Classification 论文笔记--------------------------------------------------...原创 2019-10-22 10:56:12 · 796 阅读 · 1 评论 -
【Active Learning - 00】 主动学习概念/重要论文目录/重要代码&资源
写在前面：本人于2019.09入坑Active Learning，理解还不够深刻。这个系列博客主要是把related works中重要的核心思路，以及自己遇到的问题做的一个梳理，另外完善一下literature review，会不断更新。做这个方向的人不多，自己也在摸索，希望大佬多多指导，如果有相同方向的小伙伴也欢迎交流一波~Email Address：465938578@qq.com ...原创 2019-10-21 15:45:47 · 1571 阅读 · 1 评论 -
Pytorch 0.3 调参指南&optimizer;learning rate;batch_size;Debug大法&数据集;网络;结构;超参;训练;迷人的坑（持续更新中）
1.调参指南：通常我们需要调整的部分有：优化器optim、学习率、batch_sizes、（1）optimizer：通常我们使用的是：朴素的SGD、Adagrad、Adam，后两者训练速度很快相同学习率下收敛更快，但不适宜于精细调参，为了迅速查看某方法是否work可以采用后两者，对lr依赖较小，但不一定能够找到最优点。SGD:optimizer_SGD = optim....原创 2018-06-01 19:59:35 · 5233 阅读 · 6 评论 -
深度学习干货学习（2）—— triplet loss
一、Triplet结构：triplet loss是一种比较好理解的loss，triplet是指的是三元组：Anchor、Positive、Negative：整个训练过程是：首先从训练集中随机选一个样本，称为Anchor(记为x_a)。 然后再随机选取一个和Anchor属于同一类的样本，称为Positive (记为x_p) 最后再随机选取一个和Anchor属于不同类的样本，称为...原创 2018-07-29 16:14:09 · 8117 阅读 · 2 评论 -
深度学习干货学习（1）——center loss
在构建loss时pytorch常用的包中有最常见的MSE、cross entropy（logsoftmax+NLLLoss）、KL散度Loss、BCE、HingeLoss等等，详见：https://pytorch-cn.readthedocs.io/zh/latest/package_references/torch-nn/#loss-functions这里主要讲解一种考虑类间距离的Cente...原创 2018-07-27 16:32:12 · 9900 阅读 · 4 评论 -
网络结构搜索（1）—— NAS（Neural architecture search with reinforcement learning）论文笔记
一、NAS论文地址：https://arxiv.org/abs/1611.01578 代码连接：https://github.com/tensorflow/modelsICLR2017由Googlebrain推出的论文二、Motivation for architecture search：•Designing neural network architectures is h...原创 2018-10-19 21:44:12 · 7738 阅读 · 0 评论 -
网络结构搜索（3） —— Simple and efficient architecture search for convolutional neural network
一、网络态射（Network Morphism）神经网络的结构几乎都是朝着越来越深的方向发展，但是由人工来设计网络结构的代价非常大，在网络结构搜索（1）、网络结构搜索（2）中分析了NAS、ENAS的网络结构搜索方法，通过RNN来学习一个网络结构参数构建模型，ENAS又在NAS的基础上引入权值贡献（DAG图）提高了搜索效率。本文则考虑到，在实际网络搜索中，对于某一个task会有一些前任已经训...原创 2018-10-23 22:49:54 · 2842 阅读 · 0 评论 -
Ubuntu更换清华镜像源——更快的下载速度
由于ubuntu自带的软件源下载速度很慢，尤其对于国外的网站进行访问时，所以可以修改软件源，更快更稳定的下载安装各种包。步骤如下：1、先备份源文件：cd /etc/apt/sudo cp sources.list sources.list.bak 2、替换源文件：sudo gedit sources.list修改为：# 默认注释了源码镜像以提高 apt upda...原创 2018-12-26 10:44:19 · 2872 阅读 · 0 评论 -
Ubuntu中出现Could not get lock/var/lib/dpkg/lock的解决方案
有时候在sudo apt-get install安装软件时会出现上述错误，原因是apt还在运行。解决办法：1、首先找到并杀死所有的apt-get和apt进程：ps -A | grep apt2、显示结果后kill所有的apt-get和apt进程：sudo kill -9 processcunmberorsudo kill -SIGKILL processnumber...原创 2018-12-26 10:45:51 · 1700 阅读 · 0 评论 -
Ubuntu gedit报错Gtk-WARNING **: cannot open display: :0.0 解决办法
当使用su 到另外一个用户运行某个程序，而这个程序又要有图形显示的时候，就有可能有下面提示：No protocol specified(gedit:2144): Gtk-WARNING **: cannot open display: :0解决办法：这是因为Xserver默认情况下不允许别的用户的图形程序的图形显示在当前屏幕上. 如果需要别的用户的图形显示在当前屏幕上, 则应以当前登陆...原创 2018-12-26 10:47:56 · 21179 阅读 · 1 评论 -
数学干货——最小二乘问题（线性空间求解以及矩阵求解）
最小二乘是一个最简单的二次型凸优化问题，在不考虑约束问题时，方式式可写为：其解为：x的求解方法可以有不同的理解，在这里详细讲述线性代数法和矩阵求导求解法。一、线性代数法：假设A=（m×n）大小的一个矩阵，我们将其理解为一个由n个m维的基向量长成的子空间。其解x=（n×1），为n个基向量的组合系数。也就是Ax为A长成的子空间上的一个向量。b=（m×1），是一个在空间上的任意向量。...原创 2019-01-25 23:07:17 · 11123 阅读 · 1 评论 -
Nvidia Tesla M40 装机保姆教程
我知道这个卡真的很老了。。。也知道这个卡很菜。。。然鹅没办法也得要维护实验室老旧设备呜呜呜，写给实验室的学弟学妹们流芳百世。尽量不要重启！不要重启！不要重启！）一. 系统安装：只支持Ubuntu 16.04.1（16.04.4啥的内核小范围更新的话和显卡也不适配的）系统，链接地址：http://old-releases.ubuntu.com/releases/16.04.1/ub...原创 2019-04-03 16:37:20 · 14740 阅读 · 7 评论 -
pytorch打印网络结构
最简单的方法当然可以直接print（net），但是这样网络比较复杂的时候效果不太好，看着比较乱；以前使用caffe的时候有一个网站可以在线生成网络框图，tensorflow可以用tensor board，keras中可以用model.summary()、或者plot_model()。pytorch没有这样的API，但是可以用代码来完成。（1）安装环境：graphvizconda install -...原创 2018-06-12 10:10:06 · 21645 阅读 · 3 评论 -
Pytorch tutorials 实战教程（1）——训练自己的数据集（代码详解）
最开始入坑的时候使用的是caffe，前一段时间换了使用主流框架的keras（Tensorflow as backward），但是keras确实封装得太好了，一个高级的API对于我这种编程渣渣来说反而上手有些不习惯，在写了一段时间的代码以后开始使用pytorch（反正老板要求了两个框架都要熟练那就都学啦），对于源码部分确实友好了很多，尽管需要自己定义前向过程但是也很简单啦~先给两个git...原创 2018-03-28 10:45:19 · 10523 阅读 · 1 评论 -
知识蒸馏（Distillation）相关论文阅读（3）—— FitNets : Hints for Thin Deep Nets
知识蒸馏相关论文目录导读：Geoffry Hinton —— Distilling the knowledge in a neural networkSaurabh Gupta —— Cross Model Distillation for Supervision TransferAdriana Romero —— Hints for Thin Deep Nets—————————————————...原创 2018-03-28 00:13:03 · 6390 阅读 · 2 评论 -
Caffe：如何运行一个pre-train过的神经网络——以VGG16为例
实验环境： Ubuntu 14.04所需环境： Caffe（GPU） Python2.7 JUPYTER NOTEBOOK所需依赖包： numpy matplotlib skimage h5py本次实验采用的网络介绍： 在ICIR论文《VERY DEEP CONVOLUTIONAL NETWORK SFOR LARGE-SCALE IMAGE RECOGNITION》...原创 2017-07-21 20:38:34 · 4895 阅读 · 0 评论 -
Caffe：如何fine tune一个现有的网络（VGG16）——将数据预处理并保存为h5格式
在训练神经网络的过程中，常常需要fine tune一个现有的网络，首先是需要对输入数据进行预处理，包括有：对尺寸大小进行处理将正负例和测试的data&label保存为h5文件将h5文件中data&label对应的书序打乱实现代码如下：1. 导包以及VGG网络初始化import numpy as npimport matplotlib.pyplot as...原创 2017-08-01 23:22:31 · 4262 阅读 · 0 评论 -
Caffe源码理解（1）——caffe框架梳理
Caffe是深度学习的一种框架，由C++和Python编写，底层是C++源码。一、Caffe-master源代码大框架： 关键文件如下： - data：用于存放caffe-master中程序所需要的原始数据（图片等） - docs：用于存放帮助文档 - examples：用于存放代码 - include/caffe：用于存放头文件.hpp（非常重要！！） - matlab：用于原创 2017-06-14 22:50:56 · 1994 阅读 · 0 评论 -
Caffe源码理解（2）——超级完整版教程：如何自定义一个新的层结构并重新编译Caffe
caffe源码理解之如何自定义一个层结构并重新编译Caffe完整教程。原创 2017-09-26 17:27:14 · 2410 阅读 · 2 评论 -
最正确的姿势安装cudnn，网上大多数教程都太坑了
为什么需要安装cudnncuDNN的全称为NVIDIA CUDA® Deep Neural Network library，是NVIDIA专门针对深度神经网络（Deep Neural Networks）中的基础操作而设计基于GPU的加速库。cuDNN为深度神经网络中的标准流程提供了高度优化的实现方式，例如convolution、pooling、normalization以及activation la原创 2017-08-04 12:06:42 · 214229 阅读 · 27 评论 -
论文笔记——Deep Residual Learning for Image Recognition（论文及相关代码）
论文笔记——Deep Residual Learning for Image Recognition（论文及相关代码）翻译 2017-12-27 11:50:25 · 1962 阅读 · 0 评论 -
二分类问题打标签label以及求loss的选择——从accuracy底层实现代码理解
使用caffe做二分类问题的时候，对于loss层的选择主要有以下两种常用的方法：1、sigmoid cross entropy 最后一层fc的输出设置为一个结点，输入的label是0或1。2、softmax with loss 最后一层fc的输出设置为两个结点，输入的label依旧是0或者1。 这是由于softmax是用于处理多分类问题，需要上一层的输出个数同分类数目相同，而损失层会将labe原创 2017-08-06 19:43:45 · 6467 阅读 · 0 评论 -
轻量级网络模型优化进化史总结——Inception V1-4，ResNet，Xception，ResNeXt，MobileNe，,ShuffleNet，DenseNet
摘要 网络从轻量级的LeNet到更深层结构的经典AlexNet、VGG等网络结构，对于无论是recognition还是classification的精确度都有了一个很好的提升，但随之而来也带来了许多问题。例如在训练中常常会遇到的梯度弥散/爆炸、过拟合、欠拟合、泛华性能差、准确度退化等等，以及随着网络变深带来的运算时间、空间的代价剧增。尽管显卡的运算性能也在不断提升，但是从根本算法上解决才是最原创 2018-01-21 10:48:51 · 11342 阅读 · 0 评论 -
论文笔记——Semantic Scene Completion from a Signal Depth Image
论文笔记——Semantic Scene Completion from a Signal Depth Image翻译 2018-01-09 22:50:21 · 1255 阅读 · 0 评论 -
知识蒸馏（Distillation）相关论文阅读（1）——Distilling the Knowledge in a Neural Network（以及代码复现）
———————————————————————————————《Distilling the Knowledge in a Neural Network》Geoffrey Hintion以往为了提高模型表现所采取的方法是对同一个数据集训练出多个模型，再对预测结果进行平均；但通常这样计算量过大。引出一种模型压缩技术：Distillation；以及介绍了一种由一个或多个完整模型（full models...原创 2018-03-21 21:46:25 · 10469 阅读 · 11 评论 -
知识蒸馏（Distillation）相关论文阅读（2）——Cross Model Distillation for Supervision Transfer
知识蒸馏相关论文目录导读：Geoffry Hinton —— Distilling the knowledge in a neural networkSaurabh Gupta —— Cross Model Distillation for Supervision TransferAdriana Romero —— Hints for Thin Deep Nets—————————————————...原创 2018-03-27 21:14:59 · 3560 阅读 · 1 评论