深度学习
SoftGit
深度学习,活体检测,模型压缩
展开
-
如何直接使用别人的conda环境(免安装)
如何直接使用别人的conda环境(免安装)1.复制conda文件夹2 修改配置文件3.修改环境路径和包路径有时候为了更加方便,可以直接使用其他用户的环境,而不是自己重新安装anaconda(miniconda3),可以直接复制原有的环境1.复制conda文件夹将其他用户的conda目录复制过来cp -r /home/ttt/anaconda32 修改配置文件vim anaconda...原创 2020-04-06 20:49:28 · 8335 阅读 · 1 评论 -
模型加速论文2018
[He et al., 2018] Yihui He, Ji Lin, Zhijian Liu, Hanrui Wang, Li-Jia Li, and Song Han. AMC: AutoML for Model Compression and Acceleration on Mobile Devices. In European Conference on Computer Vision ...原创 2019-01-05 16:35:19 · 545 阅读 · 0 评论 -
机器学习中的Bias(偏差),Error(误差),和Variance(方差)的理解
https://pic2.zhimg.com/80/v2-286539c808d9a429e69fd59fe33a16dd_hd.png更多详细内容查看下面的知乎回答https://www.zhihu.com/question/27068705原创 2018-12-30 17:44:32 · 454 阅读 · 0 评论 -
Arxiv最新论文,深度学习热点论文,Arxiv每日更新
最新论文https://arxiv.org/list/cs/recent深度学习热点论文https://deeplearn.org/github 顶会摘要 每日更新https://github.com/amusi/daily-paper-computer-visionYouTube视频下载https://keepvid.app/GitHub教育https://education...原创 2018-11-28 09:28:35 · 1225 阅读 · 0 评论 -
Libstdc++.so.6: version `GLIBCXX_3.4.22’ not found(conda)
Libstdc++.so.6: version `GLIBCXX_3.4.22’ not found fixhttps://forum.linuxgameconsortium.com/t/libstdc-so-6-version-glibcxx-3-4-22-not-found-fix/31693down voteacceptedI was having the same problem...原创 2018-11-29 10:44:48 · 4991 阅读 · 2 评论 -
多个conda环境共享jupyter notebook(notebook 添加 conda 环境)
1.激活环境source activate 环境名称2.安装ipykernelconda install ipykernel3.将环境写入到notebook中python -m ipykernel install --user --name 环境名称 --display-name "在notebook中显示的环境名"4.打开notebookjupyter notebokno...原创 2018-11-29 09:46:54 · 2029 阅读 · 0 评论 -
mv argument list too long
当要移动很多文件时,会超出mv的长度。解决方法:find . -name “*.jpg” -exec mv {} /home/new/location ;原创 2018-10-24 14:24:08 · 2052 阅读 · 0 评论 -
caffe下fine tunning imagenet模型实现二分类问题(详细)
原创 2018-10-22 17:29:00 · 355 阅读 · 0 评论 -
手动安装NVIDIA,cudnn驱动,安装conda,pytorch
@TOC手动安装NVIDIA,cudnn驱动禁用nouveau驱动sudo gedit /etc/modprobe.d/blacklist.conf在文本最后添加:(禁用nouveau第三方驱动,之后也不需要改回来)blacklist nouveauoptions nouveau modeset=0$sudo nano /etc/modprobe.d/blacklist-nouve...原创 2018-10-18 10:33:38 · 1304 阅读 · 0 评论 -
处理样本不均衡问题方法
1.focal loss2.GHM-C loss3.balance:对正例和负样本分别计算loss,使得正例loss权重之和与负样本loss权重之和相等4.对正样本或者负样本数据扩充原创 2019-03-15 15:37:41 · 318 阅读 · 0 评论 -
安装miniconda3、安装MXNet 和jupyter notebook
安装过程一、安装minicond31.1 下载安装包地址 用命令运行 bash Miniconda3-latest-Linux-x86_64.sh然后运行命令 conda 表明conda安装成功1.2.添加 conda 的镜像服务器因为conda 下载文件要用到国外的服务器,速度一般会比较慢,我们可以通过增加一个清华的镜像服务器来解决。 输入下面两条命令即可...原创 2019-03-15 15:39:22 · 839 阅读 · 0 评论 -
MXNet的gluon转symbol并保存
from mxnet.gluon.model_zoo import visionimport mxnet as mximport numpy as npmobilenetv205 = vision.get_model('mobilenetv2_0.5',pretrained=True,classes=1000,root='./')#num_params = sum(np.prod(x.da...原创 2019-07-25 14:47:16 · 1157 阅读 · 0 评论 -
pytoch报错OSError: [Errno 24] Too many open files
因为默认的file_descriptor共享策略使用文件描述符作为共享内存句柄,并且当DataLoader上有太多批次时,这将达到限制。要解决此问题,您可以通过将其添加到脚本来切换到file_system策略。在最后的import后面添加import torch.multiprocessingtorch.multiprocessing.set_sharing_strategy('file_...原创 2019-07-11 13:18:25 · 9299 阅读 · 16 评论 -
MXNet半精度(FP16)训练
MXNet半精度训练1.先决条件Volta range of Nvidia GPUs (e.g. AWS P3 instance)CUDA 9 or highercuDNN v7 or higher2.使用Gluon API训练和前向推理2.1训练使用cast将网络设置为float16精度进行训练net.cast('float16')data = data.astype('...原创 2019-07-11 09:46:05 · 2473 阅读 · 0 评论 -
数据增强之cutout变体,添加噪声和mixcut
数据增强之cutout变体,添加噪声生成框def rand_bbox(size, lam): W = size[2] H = size[3] # ratio = np.sqrt(1. - lam) cut_w = np.int(W * lam) cut_h = np.int(H * lam) # uniform cx = np.rand...原创 2019-06-29 15:12:33 · 8885 阅读 · 0 评论 -
安装LLVM+clang
参考了很多资料,apt-get太慢了,中断;svn co http://llvm.org/svn/llvm-project/cfe/trunk clang下载中断。还是从官网下载源码靠谱。下载源码官网http://releases.llvm.org/download.html#8.0.0wget http://releases.llvm.org/8.0.0/llvm-8.0.0.src...原创 2019-07-13 14:10:33 · 3678 阅读 · 2 评论 -
PyTorch Cookbook(常用代码段整理合集)
https://zhuanlan.zhihu.com/p/59205847?原创 2019-05-14 16:44:04 · 722 阅读 · 0 评论 -
notebook输出latex,python脚本格式文件
1 ipynb文件编译为tex在命令行中定位到要转换的jupyter文件的路径下,输入jupyter nbconvert --to latex yourNotebookName.ipynbmarkdown html原创 2019-03-15 15:43:12 · 1087 阅读 · 0 评论 -
模型融合
https://blog.csdn.net/qq_19332527/article/details/79829087 keras 模型融合https://github.com/shenxiaoming77/zhihu-PyTorchText-master pytorch模型融合https://github.com/hecongziyu/myproject/blob/dcfb2494ce88fd...原创 2019-03-15 15:40:28 · 691 阅读 · 0 评论 -
基于OpenCV的双目深度估计实现与改进
双目深度估计一、传统方法 常用的方法有SAD匹配算法,BM算法,SGBM算法,GC算法1.1、SAD算法 SAD(Sum of absolute differences)是一种图像匹配算法 ,基本思想是:差的绝对值之和。此算法常用于图像块匹配,将每个像素对应数值之差的绝对值求和,据此评估两个图像块的相似度。该算法快速、但并不精确,通常用于多级处理的初步筛选。...原创 2018-09-19 17:07:25 · 15119 阅读 · 7 评论 -
安装miniconda3、安装MXNet 和jupyter notebook
安装过程一、安装minicond31.1 下载安装包地址 用命令运行 bash Miniconda3-latest-Linux-x86_64.sh然后运行命令 conda 表明conda安装成功1.2.添加 conda 的镜像服务器因为conda 下载文件要用到国外的服务器,速度一般会比较慢,我们可以通过增加一个清华的镜像服务器来解决。 输入下面两条...原创 2018-09-19 16:50:17 · 2554 阅读 · 0 评论 -
MXNet导出可视化网络结构
导出可视化图import syssys.path.append('/home/')from models.SelfNestingNet import *from my_utils import *net = mx.sym.Variable('data')net = SelfNestingNet(nClasses=10,basicBlockType ='BasicUnit' )...原创 2018-09-16 19:56:47 · 2017 阅读 · 1 评论 -
利用300fps检测人脸的68个特征点
(1)3000fps总体上采用了随机森林和全局线性回归相结合的方法,具体可以阅读原文或者这篇博客 .从github上获取3000fps的源码,我是从这里git clone下来的,当然也可以直接download /*****************************************************************/ 运行环境 系统:windows 10 VS版...原创 2018-05-22 19:23:56 · 3859 阅读 · 2 评论 -
在线可视化网络结构(绘制网络,设计网络可视化)netscope
1.打开链接http://ethereon.github.io/netscope/#/editor2.将所要绘制的ptototxt文件内容复制到打开的网页左边,然后按住enter+shift即可在右边显示 再设计网络的时候可以使用,非常方便。...原创 2018-05-22 14:42:26 · 1529 阅读 · 1 评论 -
《Pelee: A Real-Time Object Detection System on Mobile Devices》解读
已有的在移动设备上执行的深度学习模型例如 MobileNet、 ShuffleNet 等都严重依赖于在深度上可分离的卷积运算,而缺乏有效的实现。在本文中,来自加拿大西安大略大学的研究者提出了称为 PeleeNet 的有效架构,它没有使用传统的卷积来实现。PeleeNet 实现了比目前最先进的 MobileNet 更高的图像分类准确率,并降低了计算成本。研究者进一步开发了实时目标检测系统 Pelee...翻译 2018-05-13 10:11:16 · 6795 阅读 · 4 评论 -
从零开始训练自己的数据模型超详细教程(以caffenet为例)带你熟悉整个过程(数据准备,均值文件,训练,测试)
背景:我要解决的是一个二分类问题,分类出正脸和非正脸,从而过滤人脸质量较差的图片,如低头,侧脸或者是戴口罩的人脸,而分类出正脸中对正脸进行一个评分。好的,下面正式进入实验过程。(1)模型准备**如果你没有还没有装好caffe,那请参考: 1.caffe安装系列——史上最详细的安装步骤 2,Ubuntu 16.04+CUDA8.0+Caffe安装教程 3.windows...原创 2018-04-22 22:09:42 · 4638 阅读 · 0 评论 -
ubuntu16.04 系统成功安装 caffe 并编译(详尽版)
转载:http://blog.csdn.net/yhaolpz https://blog.csdn.net/yhaolpz/article/details/71375762历时一周终于在 ubuntu16.04 系统成功安装 caffe 并编译,网上有很多教程,但是某些步骤并没有讲解详尽,导致配置过程总是出现各种各样匪夷所思的问题,尤其对于新手而言更是欲哭无泪,在我饱受折磨后决定把安装步骤记录下来...转载 2018-03-28 11:31:04 · 1309 阅读 · 1 评论 -
基于FM810深度摄像头的人脸检测项目过程
基于FM810深度摄像头的人脸检测项目过程之前从来没有接触过OpenCV和VS,所以从安装和配置浆砌。1.VS2017的安装我是下载的VS 2017 enterprise版本,从网上下载的离线安装包17个G左右,我当时是在百度云上下载的,网址忘记了。但是大家可以再官网下载,下载好之后安装的时候记得选对应版本的windows SDK,详细的安装过程可以看这个。 我当时的选的版本是win8.1和wi...原创 2018-03-24 19:29:23 · 1578 阅读 · 2 评论 -
机器学习和深度学习资源汇总(陆续更新)
转载:https://www.cnblogs.com/zlslch/p/6970680.html不多说,直接上干货! 本篇博客的目地,是对工作学习过程中所遇所见的一些有关深度学习、机器学习的优质资源,作分类汇总,方便自己查阅,也方便他人学习借用。 主要会涉及一些优质的理论书籍和论文、一些实惠好用的工具库和开源库、一些供入门该理论入门所用的demo等等。 由于本博客将不定期更新,...转载 2018-03-29 21:21:41 · 1758 阅读 · 0 评论 -
如何选择深度学习模型中最优的学习率和源码实现
如何选择深度学习模型中最优的学习率PS:方法来自Leslie N. Smith 在 2015 年的论文「Cyclical Learning Rates for Training Neural Networks」的第 3.3 节,诀窍:从一个低学习率开始训练,并在每个批次中指数提高学习率,然后画出学习率与损失函数的变化趋势图像。例图1 迭代次数与学习率与变化曲线原创 2018-01-10 09:32:41 · 2627 阅读 · 0 评论 -
利用3000fps把人脸面部抠出来(一)
思路:思路很简单,前面有一篇讲了如何利用3000fps检测人脸特征点,把特征点检测出来之后,就有了人脸的大概轮廓。如下图。 上图只是显示了部分特征点,从0-16个特征点可以知道大概的脸型。 但是还有上半部分没有特征点,无法确定头发部分。怎么办呢?通过查看文献,其中这篇论文《Face Image Quality Assessment Based on Learning to Rank》提到了...原创 2018-05-24 17:08:45 · 1472 阅读 · 2 评论 -
利用3000fps把人脸的脸部区域抠出来(二)
上一篇已经把人脸的脸部区域框出来了,那么要把人脸抠出来,只需要把轮廓的特征点放在一个verctor中组成一个ROI区域,然后根据OpenCV多边形抠图原理,把人脸抠出来就可以了。注意一下,把特征点放入的时候需要顺序加进vertor中,不然抠出的区域会出现会有交叉。 下面来看看代码:void Detection( std::vector<cv::String> files) {...原创 2018-05-24 18:59:52 · 1428 阅读 · 0 评论 -
优化算法总结-深度学习
优化算法总结超参数(Hyper-Parameter)是困扰神经网络训练的问题之一,因为这些参数不可通过常规方法学习获得。神经网络经典五大超参数:学习率(Leraning Rate)、权值初始化(Weight Initialization)、网络层数(Layers)单层神经元数(Units)、正则惩罚项(Regularizer|Normalization)这五大超参数使得神经网络...原创 2018-07-18 19:44:36 · 3027 阅读 · 0 评论 -
DenseNet在caffe1.0中的应用遇到的问题Message type "caffe.PoolingParameter" has no field named "ceil_mode"
参考:https://blog.csdn.net/hjxu2016/article/details/79806649问题1.没有 “ceil_mode”.[libprotobuf ERROR google/protobuf/text_format.cc:245] Error parsing text-format caffe.NetParameter: 149:14: Message ...原创 2018-06-27 10:38:32 · 1289 阅读 · 2 评论 -
RGBDface相关0625
深度模型加速新思路思路十分直观:根据样本的复杂度把CNN当作一个deep cascade,简单的样本只需要使用浅层的特征即可做出正确的分类,然而复杂的样本需要多层网络才可以判断。这样的方式比起之前使用多个网络做cascade的方式而言,可以共享大量的参数。如下图所示: 在[2]中,作者将这个思想更进一步,主要有以下几个差异:设计了新的复杂度控制的loss,然而这个loss不仅...原创 2018-06-25 20:28:01 · 302 阅读 · 0 评论 -
dropout的隐式偏置(为什么要使用dropout)
现代的深度神经网络通常具有海量参数,甚至高于训练数据的大小。这就意味着,这些深度网络有着强烈的过拟合倾向。缓解这一倾向的技术有很多,包括L1、L2正则、及早停止、组归一化,以及dropout。在训练阶段,dropout随机丢弃隐藏神经元及其连接,以打破神经元间的共同适应。尽管dropout在深度神经网络的训练中取得了巨大的成功,关于dropout如何在深度学习中提供正则化机制,目前这方面的理论解释...原创 2018-06-30 17:46:16 · 1377 阅读 · 0 评论 -
ShuffleNet MobileNet 在caffe训练加速方法
ShuffleNet参考:https://github.com/farmingyard/ShuffleNe1. 1.将cpp 和cu文件复制到caffe/src/caffe/layers目录下,将hpp文件复制到caffe/include/caffe/layers/目录下, 2.修改在caffe/src/caffe/proto目录下的caffe.proto文件message LayerPa...原创 2018-06-25 10:03:36 · 2396 阅读 · 0 评论 -
用于视觉识别的CS231n卷积神经网络(CS231n)神经网络学习笔记和有趣博客
http://cs231n.github.io/ 结合Web-Translate插件,很方便阅读,是一个很好的学习网站原创 2018-06-14 21:14:48 · 262 阅读 · 0 评论 -
Caffe下卷积神经网络中的一些特殊层(caffe不同类型层的介绍)
Batch Normalization 意义: 网络训练时,用来加速收敛速度 提醒: 已经将BN集成为一个layer了,使用时需要和scale层一起使用 训练的时候,将BN层的use_global_stats设置为false; 测试的时候将use_global_stats设置为true,不然训练的时候会报“NAN”或者模型不收敛 – 师兄的经验,我还没试验过 用法: 详见 残差神经网络...原创 2018-06-14 16:22:27 · 913 阅读 · 0 评论 -
深度学习笔记+图像处理+RCNN发展流程
深度学习笔记 深度学习(六十九)darknet 实现实验 Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffma深度学习(六十八)darknet使用深度学习(六十七)metal forge深度学习库使用深度学习(六十六)生成模型、最大化似然、KL散度深度学习(六十五)移动端网络M...原创 2018-05-30 17:25:09 · 3580 阅读 · 0 评论