- 博客(101)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 PyTorch 学习笔记（一）：让PyTorch读取你的数据集
本文截取自《PyTorch 模型训练实用教程》，获取全文pdf请点击：https://github.com/tensor-yu/PyTorch_Tutorial转载请注明出处：
2018-12-19 20:15:08
59161
34
原创 博文翻译系列——如何入门数据科学 without spending a penny
转载请注明出处：博文翻译转载系列——基于“输入输出”学习方法，非直译的方式转载国外博文，取其精华去其糟粕转化为自己的语言，供大家学习交流。目录数学与代码基础机器学习与深度学习基础总结与建议原文：https://medium.com/@pranshumshr.04/how-i-learned-data-science-without-spending-a-penny-67d2ac5d04a1译文：博文翻译系列——How I learned Data Science without spendin.
2021-10-22 10:07:02
397
1
原创 GhostNet 解读及代码实验（附代码、超参、日志和预训练模型）
文章首发于 极市平台文章目录一、前言二、论文阅读摘要问题1: 何为特征图冗余？问题2: Ghost feature maps 和 Intrinsic feature maps 是什么？问题3: Linear transformations 和 Cheap operations 是什么？问题4: Ghost Module长什么样？Ghost Bottlenecks长什么样？Ghost Ne...
2020-03-30 22:22:56
16903
40
原创 PyTorch的hook及其在Grad-CAM中的应用
文章目录hook简介PyTorch的四个hook1. torch.Tensor.register_hook(hook)2. torch.nn.Module.register_forward_hook3. torch.nn.Module.register_forward_pre_hook4.torch.nn.Module.register_backward_hookhook简介pytorch中的...
2019-07-30 21:54:32
7698
6
原创 PyTorch 学习笔记（八）：PyTorch的六个学习率调整方法
pytorch中提供了六种方法供大家使用，下面将一一介绍，最后对学习率调整方法进行总结。
2019-06-17 08:23:57
4072
原创 PyTorch 学习笔记（七）：PyTorch的十个优化器
本文截取自《PyTorch 模型训练实用教程》，获取全文pdf请点击：https://github.com/tensor-yu/PyTorch_TutorialPyTorch提供了十种优化器，在这例就看看都有哪些优化器。#1. torch.optim.SGD#class torch.optim.SGD(params, lr=, momentum=0, dampening=0, weight_...
2019-05-07 09:11:21
21649
原创 PyTorch 学习笔记（六）：PyTorch的十八个损失函数
本文截取自《PyTorch 模型训练实用教程》，获取全文pdf请点击：https://github.com/tensor-yu/PyTorch_Tutorial文章目录1.L1loss2.MSELoss3.CrossEntropyLoss4.NLLLoss5.PoissonNLLLoss6.KLDivLoss7.BCELoss8.BCEWithLogitsLoss9.MarginRanking...
2019-04-04 09:13:13
14188
7
原创 PyTorch 学习笔记（五）：Finetune和各层定制学习率
本文截取自《PyTorch 模型训练实用教程》，获取全文pdf请点击：https://github.com/tensor-yu/PyTorch_Tutorial文章目录一、Finetune之权值初始化第一步：保存模型参数第二步：加载模型第三步：初始化二、不同层设置不同的学习率补充：我们知道一个良好的权值初始化，可以使收敛速度加快，甚至可以获得更好的精度。而在实际应用中，我们通常采用一个已经训...
2019-03-20 08:52:00
2799
原创 Pytorch：RuntimeError: DataLoader worker (pid 27) is killed by signal: Killed. Details are lost due
问题描述：在Docker中运行Pytorch，并且DataLoader采用了多进程（num_workers>0）,当内存不足时报错如下：RuntimeError: DataLoader worker (pid 27) is killed by signal: Killed. Details are lost due to multiprocessing. Rerunning with n...
2019-02-20 10:53:42
8465
原创 PyTorch 学习笔记（四）：权值初始化的十种方法
本文截取自《PyTorch 模型训练实用教程》，获取全文pdf请点击：https://github.com/tensor-yu/PyTorch_Tutorial文章目录Xavier，kaiming系列；其他方法分布PyTorch在torch.nn.init中提供了常用的初始化方法函数，这里简单介绍，方便查询使用。介绍分两部分：Xavier，kaiming系列；其他方法分布Xavier...
2018-12-31 11:30:18
7071
原创 PyTorch 学习笔记（三）：transforms的二十二个方法
本文截取自《PyTorch 模型训练实用教程》，获取全文pdf请点击：https://github.com/tensor-yu/PyTorch_Tutorial文章目录一、 裁剪——Crop1.随机裁剪：transforms.RandomCrop2.中心裁剪：transforms.CenterCrop3.随机长宽比裁剪 transforms.RandomResizedCrop4.上下左右中心裁...
2018-12-26 20:35:04
49611
14
原创 PyTorch 学习笔记（二）：PyTorch的数据增强与数据标准化
本文截取自《PyTorch 模型训练实用教程》，获取全文pdf请点击：https://github.com/tensor-yu/PyTorch_Tutorial文章目录transform的使用在实际应用过程中，我们会在数据进入模型之前进行一些预处理，例如数据中心化(仅减均值)，数据标准化(减均值，再除以标准差)，随机裁剪，旋转一定角度，镜像等一系列操作。PyTorch有一系列数据增强方法供大家...
2018-12-20 21:54:43
17099
3
原创 NIPS 2018 paper list（论文列表）
Efficient Algorithms for Non-convex Isotonic Regression through Submodular Optimization Francis BachStructure-Aware Convolutional Neural Networks Jianlong Chang, Jie Gu, Lingfeng Wang, GAOFENG MENG, ...
2018-12-03 16:31:25
13512
原创 椒盐噪声 Python实现
文章目录椒盐噪声概念椒盐噪声数学定义椒盐噪声代码实现最近碰到一个过拟合问题（感觉在工程里大部分时间都在解决过拟合，只要选正确模型～），想通过增加椒盐噪声来增加训练样本的多样性，对椒盐噪声有了新的认识——原来 椒盐噪声 = 椒噪声 + 盐噪声椒盐噪声概念椒盐噪声又称为脉冲噪声，它是一种随机出现的白点或者黑点，如下图。在机器学习的图像分类任务中，为图像增加椒盐噪声是一种常用的数据增强方法，...
2018-10-25 10:03:52
16040
4
原创 Python中的浅复制(shallow copy)和深复制(deep copy)
文章目录python值管理方式深复制与浅复制的使用及区别近期杂事太多，并且在准备一个tutorial，博客一直没更新，9月最后一天了，总得写点吧今天记一下以前碰到过，最近又碰到的问题：python的深复制和浅复制神奇的python中，copy竟然还有两种，一深一浅(emm)，为什么python中有，而c/c++中没有这一概念呢？python值管理方式这本质原因是python采用的是基于值...
2018-09-30 16:44:44
3046
原创 Dell R730 服务器重装系统Ubuntu16.04
第一步：制作启动U盘第二步：服务器进入安装程序(U盘)第三步：安装Ubuntu最近给服务器重装系统，前前后后折腾了不少时间，特地记录一下硬件需要： windows系统电脑；U盘一个 软件需求：Win32DishImager（写iso至U盘的）；系统镜像文件iso整体分三步： 1. 制作启动U盘 2. 让服务器进入安装程序(U盘) 3. 安装ubuntu...
2018-08-05 10:18:07
13717
4
原创 轻量化网络：ShuffleNet V2
Guideline 1-4:ShuffleNet V2疑问：ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design 由Face++及清华的研究者共同发表，已被ECCV-2018收录论文下载地址：https://pan.baidu.com/s/1so7aD3hLKO-0PB...
2018-08-04 11:44:51
3150
1
原创 IOError: encoder jpeg not available
IOError: encoder jpeg not available在服务器上运行python脚本出现如上错误，搜了一圈，方法太多，复杂的没去尝试，简单的又不奏效，在综合几种方法之后，获得成功，感觉最主要的还是要更改imaging-1.1.7 种的setup.py文件第1步：删除已经安装的PIL：$ rm -rf /usr/lib/python2.7/site-packages/...
2018-08-03 20:38:00
1055
原创 sklearn中SVM的可视化
第一部分：如何绘制三维散点图和分类平面第二部分：sklearn中的SVM参数介绍最近遇到一个简单的二分类任务，本来可用一维的线性分类器来解决，但是为了获得更好的泛化性能，我选取了三个特征，变成了一个三维空间的二分类任务。目的就是使两类样本之间的间隔再大一些，为了满足这种需求，自然而然的想到使用SVM作为分类器，并且该任务是线性可分，自然的选用LinearSVM——核函数为线...
2018-07-22 18:32:11
28475
17
原创 轻量化网络：SqueezeNext
《SqueezeNext: Hardware-Aware Neural Network Design》 于2018年3月公开在arXiv(美[ˈɑ:rkaɪv]) ：https://arxiv.org/abs/1803.10615SqueezeNext是基于SqueezeNet进行改进的一种轻量化网络。该论文是一篇“软硬兼并”的轻量化网络论文，以往的论文大多都只讲了网络如何设计，并没有...
2018-06-05 22:15:14
4628
6
原创 CVPR 2018 paper list（论文列表）
原文链接：http://cvpr2018.thecvf.com/program/main_conference52 Embodied Question Answering Abhishek Das (Georgia Tech); Samyak Datta (Georgia Tech); Georgia Gkioxari (Facebook); Stefan Lee (Georgia ...
2018-05-03 15:50:38
20536
1
原创 人脸关键点: Wing Loss for Robust Facial Landmark Localisation with Convolutional Neural Networks
Wing Loss for Robust Facial Landmark Localisation with Convolutional Neural Networks 由萨里大学研究人员（第一至四作者）与江南大学研究人员（第五作者）共同研究，被CVPR2018收录，最早于2017年11月在arXiv上发表(美[ˈɑ:rkaɪv]) ： https://arxiv.org/abs/1711.06
2018-04-30 17:27:46
17465
21
原创 级联MobileNet-V2实现CelebA人脸关键点检测（附训练源码）
一 引言1为什么是级联2为什么是MobileNet-V2二 级联MobileNet-V2之人脸关键点检测0 修改caffe1 整体框架及思路2 原始数据处理 0_raw_data3 level_1训练4 level_2训练5 级联展示 3_demo 三 总结此博客详细介绍级联MobileNet-V2实现人脸关键点检测。 模型：MobileNet-V2 数据：CelebA(
2018-03-04 11:46:26
20624
37
原创 修改caffe源码--支持多标签--关键点检测
第一步 image_data_layerhpp第二步 image_data_layercpp原版caffe不支持多标签，会报错，如下： 注：这里读取数据的method是ImageData，即 type：ImageData此方法直接从txt中获取图片路径和label，进行读取，txt如下所示： ——————————————————————–正文————————————
2018-02-01 17:59:08
1023
4
原创 轻量化网络：MobileNet-V2
创新点正文MobileNet-V2网络结构MobileNetV2: 《Inverted Residuals and Linear Bottlenecks: Mobile Networks for Classification, Detection and Segmentation》 于2018年1月公开在arXiv(美[ˈɑ:rkaɪv]) ：https://arxi...
2018-01-23 09:27:28
147226
55
原创 模型压缩：Deep Compression
第一步weight pruning第二步trained quantization and weight sharing第三步 Huffman coding 实验分析之压缩几十倍从何而来 实验分析之极致量化《Deep Compression Compressing Deep Neural Networks with Pruning, Trained Quantization
2018-01-22 10:51:38
6245
2
原创 轻量化卷积神经网络：SqueezeNet、MobileNet、ShuffleNet、Xception
一 引言二 轻量化模型2.1 SqueezeNet2.2 MobileNet2.3 ShuffleNet2.4 Xception三 网络对比一 引言自2012年AlexNet以来，卷积神经网络（简称CNN）在图像分类、图像分割、目标检测等领域获得广泛应用。随着性能的要求越来越高，AlexNet已经无法满足大家的需求，于是乎各路大牛纷纷提出性能更...
2018-01-18 20:40:07
19718
8
原创 caffe :error MSB4062: 未能从程序集** 加载任务“NuGetPackageOverlay”
四个工作日 吐血安装 caffe-master(哭)，记录一个关于：错误 1 error MSB4062: 未能从程序集 E:\NugetPackages\OpenCV.2.4.10\build\native\private\coapp.NuGetNativeMSBuildTasks.dll 加载任务“NuGetPackageOverlay”。未能加载文件或程序集“file:///E
2018-01-05 13:54:43
7227
6
原创 ResNeXt - Aggregated Residual Transformations for Deep Neural Networks
《Aggregated Residual Transformations for Deep Neural Networks》是Saining Xie等人于2016年公开在arXiv上： https://arxiv.org/pdf/1611.05431.pdf 创新点 1.在传统Resnet基础上采用group convolution，在不增加参数量的前提下，获得更强的representation
2018-01-02 09:12:28
825
原创 轻量化网络：ShuffleNet
《ShuffleNet： An Extremely Efficient Convolutional Neural Network for Mobile Devices 》来自face++，发表于CVPR-2017, 其主要采用两个“新”操作对卷积神经网络结构进行修改，达到提高计算效率的目的。github： https://github.com/farmingyard/ShuffleNet创新点：
2017-12-28 08:53:39
1666
原创 轻量化网络：SqueezeNet
SqueezeNet 发表于ICLR-2017，作者分别来自Berkeley和Stanford，SqueezeNet不是模型压缩技术，而是 “design strategies for CNN architectures with few parameters”创新点: 1. 采用不同于传统的卷积方式( 类似于inception思想) ，提出fire module；fire module包含...
2017-12-27 09:45:41
20317
7
原创 模型加速：WAE-Learning a Wavelet-like Auto-Encoder to Accelerate Deep Neural Networks
WAE(Wavelet-like Auto-Encoder) 是由来自中大、哈工大、桂电等多机构的多名研究人员合作提出的，发表于AAAI-2018(论文地址： https://arxiv.org/pdf/1712.07493.pdfgithub创新点： 1. WAE借助小波分解得思想，将原图分解成两个低分辨率图像，以达到网络加速的目。（PS：整体思路：下采样的方法达到网络加速，但
2017-12-26 11:38:34
2263
3
原创 深度学习人脸关键点检测方法----综述
参考资料一、 引言二、 检测方法 总结 近期对人脸关键点相关方法进行了研究，在深度学习大行其道的背景之下，此博客对近期人脸关键点检测深度学习方法进行了记录和总结，希望给广大朋友一点点启发，也希望大家指出我阅读过程中的错误~主要有如下模型： 2.1 ASM (Active Shape Models) 2.2 AAM（Active Appearance Models）...
2017-12-25 10:55:50
56905
11
原创 轻量化网络：Xception
Xception: Deep Learning with Depthwise Separable Convolutions 是2017年 google的文章Xception不是模型压缩技术，而是 “design strategies for CNN architectures with few parameters”Xception 是对Inception v3的改进，是一种 Extrem...
2017-12-25 09:38:10
8763
2
原创 轻量化网络：MobileNets
MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications（MobileNets paper）是CVPR-2017一篇paper，作者均来之Google，其提出一种“新”的卷积方式来设计网络，主要针对移动端设备所设计，因此，得名MobileNets 注：MobileNets不是模型压缩技...
2017-12-20 10:25:55
12265
8
原创 模型压缩：Networks Slimming-Learning Efficient Convolutional Networks through Network Slimming
Network Slimming-Learning Efficient Convolutional Networks through Network Slimming（Paper） 2017年ICCV的一篇paper，思路清晰，骨骼清奇~~创新点： 1. 利用batch normalization中的缩放因子γ 作为重要性因子，即γ越小，所对应的channel不太重要，就可以裁剪（pru
2017-12-13 09:41:44
14594
10
原创 人脸关键点：MTCNN-Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks
创新点： 1. 首次将级联和多任务结合起来，之前有单纯级联的DCNN，单纯多任务的TCDCN 2. 提出 a new online hard sample mining strategy，没接触过hard sample mining ，知道的同学介绍介绍呗~2016年，Zhang等人提出一种多任务级联卷积神经网络（MTCNN, Multi-task Cascaded Convolutional
2017-12-12 16:19:58
2103
原创 人脸关键点：DAN-Deep Alignment Network: A convolutional neural network for robust face alignment
DAN-Deep Alignment Network，发表于CVPR-2017。很纳闷DAN取名中的D，为什么是deep，如果是深度学习的deep，岂不是很无区分性？有知道的朋友请告诉我这个D是什么意思~ DAN从名字上看不出来这个网络的创新点在哪里。创新点： 1.与以往的级联模型不同，网络模型输入是整张人脸图，可获取更多信息。 2.谁不想用更多的信息呢？ 还不是因为有问题，但是DAN怎
2017-12-07 09:27:49
11067
原创 人脸关键点：TCNN-Tweaked Convolutional Neural Networks
TCNN，全名Tweaked Convolutional Neural Networks， 其中，Tweaking implies fine-tuning the final layers for particular head pose创新点：1.对CNN提取的特征进行聚类，将各簇对应的样本进行分析，最后发现同一簇表现出“相同属性”（姿态，微笑，性别）的人脸。对此，设计了K个FC5和K个FC6层
2017-12-07 09:05:48
4296
3
原创 人脸关键点：TCDCN-Facial Landmark Detection by Deep Multi-task Learning
《Facial Landmark Detection by Deep Multi-task Learning》发表于ECCV-2014，作者来自香港中文大学汤晓鸥团队的Zhanpeng Zhang等人。创新点： 1.将MTL（多任务学习）结合CNN应用到人脸关键点检测 2.为解决各任务有着不同收敛速度而导致的优化难问题，提出针对多任务学习的early stopping。Zhang等人将MTL（M
2017-12-06 09:02:25
9471
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人