深度学习
deep_learninger
这个作者很懒,什么都没留下…
展开
-
caffe adaboost
https://github.com/terrychenism/NeuralNetTests/blob/master/caffe_utils/cnn_adaboost.py 参考代码,今天 在caffe上实现adaboost算法,先训练弱分类器,用弱分类器的模型即可,如果把caffe训练好的模型当弱分类器,只需要调用caffe,使用该模型即可,不需要重新训练该弱分类器。原创 2016-03-29 13:57:47 · 1766 阅读 · 3 评论 -
CNN 中, 1X1卷积核到底有什么作用呢?
http://www.caffecn.cn/?/question/136 摘抄于这里从NIN 到Googlenet mrsa net 都是用了这个,为什么呢发现很多网络使用了1X1卷积核,这能起到什么作用呢?另外我一直觉得,1X1卷积核就是对输入的一个比例缩放,因为1X1卷积核只有一个参数,这个核在输入上滑动,就相当于给输入数据乘以一个系数。不知道我理解的是否正确。我来说说原创 2016-02-29 19:55:50 · 43788 阅读 · 4 评论 -
Liux常用命令和caffe 常用命令
Linux部分: 配置 cuda 环境变量 export LD_LIBRARY_PATH=/usr/local/cuda/lib64:./build/lib:$LD_LIBRARY_PATH查看当前环境变量:echo $PATH设置: 方法一:export PATH=PATH:/XXX 但是登出后就失效方法二:修改~/.bashrc或~/.bash_profile或系统级原创 2016-03-29 10:49:22 · 3432 阅读 · 0 评论 -
多通道(比如RGB三通道)卷积过程
今天一个同学问 卷积过程好像是对 一个通道的图像进行卷积, 比如10个卷积核,得到10个feature map, 那么输入图像为RGB三个通道呢,输出就为 30个feature map 吗, 答案肯定不是的, 输出的个数依然是 卷积核的个数。 可以查看常用模型,比如lenet 手写体,Alex imagenet 模型, 每一层输出feature map 个数 就是该层卷积核的个数。1、原创 2016-04-11 22:04:20 · 108404 阅读 · 23 评论 -
google batchnorm 资料总结
训练webface 李子青提出的大网络,总是出现过拟合,效果差。 尝试使用batchnorm。参考博客: http://blog.csdn.net/malefactor/article/details/51549771 cnn 和rnn 中如何引入batchnormhttp://blog.csdn.net/happynear/article/details/44238541 Google原创 2016-06-29 10:49:28 · 7168 阅读 · 0 评论 -
从 专访DeepID发明者孙祎:关于深度学习与人脸算法的深层思考 总结
今天看到DeepID发明者孙祎介绍,研发心得,人脸识别应用的现状、难点与未来,深度学习的实践经验等问题。回到的很好。专访DeepID发明者孙祎:关于深度学习与人脸算法的深层思考发表于2015-11-18 09:51|8283次阅读| 来源CSDN|17 条评论| 作者周建丁CNN卷积神经网络DeepID人脸算法深度学习孙祎Linkface摘要:DeepID人脸算转载 2016-06-13 17:04:27 · 2791 阅读 · 0 评论 -
深入浅出——网络模型中Inceptionv1到 v4 的作用与结构全解析
深入浅出——网络模型中Inception的作用与结构全解析转载地址http://blog.csdn.net/u010402786目录(?)[+]一 论文下载 本文涉及到的网络模型的相关论文以及下载地址: [v1] Going Deeper with Convolutions, 6.67% test error原创 2016-09-19 11:03:22 · 42499 阅读 · 1 评论 -
caffe 里面GPU 选择设置, 通过配置文件 读取GPU 的编号。
caffe 里面GPU 选择设置, 通过配置文件 读取GPU 的编号。// Parse GPU ids or use all available devicesstatic void get_gpus(vector* gpus) { if (FLAGS_gpu == "all") { int count = 0;#ifndef CPU_ONLY CUDA_CHECK(c原创 2016-10-10 13:43:53 · 8387 阅读 · 0 评论 -
LeNet、AlexNet、GoogLeNet、VGG、ResNetInception-ResNet-v2、FractalNet、DenseNet
2006年Hinton他们的Science Paper再次引起人工神经网络的热潮,当时提到,2006年虽然Deep Learning的概念被提出来了,但是学术界的大家还是表示不服。当时有流传的段子是Hinton的学生在台上讲paper时,台下的机器学习大牛们不屑一顾,质问你们的东西有理论推导吗?有数学基础吗?搞得过SVM之类吗?回头来看,就算是真的,大牛们也确实不算无理取闹,是骡子是马拉出来遛遛,原创 2016-12-28 09:49:46 · 18424 阅读 · 1 评论 -
迁移学习之Domain Adaptation
读:域适应是迁移学习中最常见的问题之一,域不同但任务相同,且源域数据有标签,目标域数据没有标签或者很少数据有标签,本文主要介绍了几篇基于卷积神经网络来处理域适应这个问题的文章。前一篇文章中的图2给出了迁移学习中几种常见的问题,其中一个比较重要的是域适应问题domain adaptation,域不同但任务相同,且源域数据有标签,目标域数据没有标签或者很少数据有标签。例如下图四个数据集,它们从不同...原创 2018-09-26 08:45:08 · 4617 阅读 · 0 评论 -
Feature Transfer Learning for Deep Face Recognition with Long-Tail Data 论文阅读笔记
问题: 训练人脸模型需要依赖大规模数据,比如 MsCeleb1M,deepglint, WebFace 等,但这些大规模数据存在严重的long-tail 问题。 简单说,20%人占了80%数据。 这个问题普遍存在,也有不少paper解决该问题。 比如range loss 等。本文idea: 将GAN 网络方法融合到主流的人脸识别模型中, 在特征领域进行迁移学习。本文方法比较...原创 2019-05-31 17:02:36 · 2180 阅读 · 1 评论 -
matlab自带各种分类器的使用示例
目前了解到的MATLAB中分类器有:K近邻分类器,随机森林分类器,朴素贝叶斯,集成学习方法,鉴别分析分类器,支持向量机。现将其主要函数使用方法总结如下,更多细节需参考MATLAB 帮助文件。设 训练样本:train_data % 矩阵,每行一个样本,每列一个特征 训练样本标签:train_label % 列向量 测试样本:test_da原创 2016-04-05 18:50:19 · 46537 阅读 · 16 评论 -
8个经过证实的方法:提高机器学习模型的准确率
8个经过证实的方法:提高机器学习模型的准确率字数2823 阅读690 评论5 喜欢25摘要:本文分享了 8 个经过证实的方法。这些方法用来改善模型的预测表现。它们广为人知,但不一定要按照文中的顺序逐个使用。导语:提升一个模型的表现有时很困难。如果你们曾经纠结于相似的问题,那我相信你们中很多人会同意我的看法。你会尝试所有曾学习过转载 2016-02-25 15:11:24 · 3468 阅读 · 0 评论 -
应用深度学习时需要思考的问题
应用深度学习时需要思考的问题深度学习 神经网络 调优对于应用深度学习需要思考什么的问题,我们无法统一答复,因为答案会随着你要解决的问题的不同而不同。但是我们希望以下的问答将成为一个帮助你如何在初期选择深度学习算法和工具的清单。我的问题是有监督类型还是无监督类型?如果是有监督类型的,是分类还是回归?有监督学习会有个“老师”, 它转载 2016-02-25 14:45:33 · 1460 阅读 · 0 评论 -
机器学习 深度学习 计算机视觉 资料汇总
Deep Learning(深度学习)ufldl的2个教程(这个没得说,入门绝对的好教程,Ng的,逻辑清晰有练习):一ufldl的2个教程(这个没得说,入门绝对的好教程,Ng的,逻辑清晰有练习):二Bengio团队的deep learning教程,用的theano库,主要是rbm系列,搞python的可以参考,很不错。deeplearning.net主页,里面包含的原创 2016-03-29 15:37:02 · 2073 阅读 · 1 评论 -
机器学习 深度学习 计算机视觉 开源代码总结
持续跟新可以看看这个 http://blog.csdn.net/workerwu/article/details/46537849场景识别: SegNet: A Deep Convolutional Encoder-Decoder Architecture for Robust Semantic Pixel-Wise Labelling https://github.c原创 2016-03-29 15:39:58 · 2366 阅读 · 0 评论 -
cnn 调参经验
这个问题,其实我也是初学,水平有限,说说自己的感觉吧。在潜意识里,我始终觉得神经网络的东西和中医看病有种隐隐的联系,经验(自己的和别人的)、感觉这些谈不上有什么标准化的东西确是挺重要的东西。基于此,调试一个神经网络,就需要首先熟悉网络的每个层、每个参数的作用是什么,为什么要有这样的设置,通常researcher们都基于什么样的原则来设置?其次,多自己动手设置一下,找找感觉,看看不同的参数设置会产生原创 2016-01-18 11:48:37 · 7620 阅读 · 1 评论 -
深度学习模型各层参数数目对于性能的影响
深度学习模型各层参数数目对于性能的影响 北京林业大学2015,12,30号发表在计算机科学与应用的杂志上, 中文期刊论文地址:http://image.hanspub.org:8080/pdf/CSA20151200000_79830787.pdf 本文基于卷积神经网络和递归卷积神经网络模型探究了深度学习网络不同层级间参数分布对网络性能的影响,在CIFAR-10、原创 2016-02-19 17:35:17 · 7005 阅读 · 0 评论 -
ensemble 总结 Kaggle-Ensemble-Guide
今天看到Kaggle-Ensemble-Guide ,里面有详细的介绍,也有代码,https://github.com/vzhangmeng726/Kaggle-Ensemble-Guide 网址, http://mlwave.com/kaggle-ensembling-guide/ 使用介绍。里面主要讲了4种方法:1、Voting ensembles.,,A原创 2016-03-07 15:56:13 · 7646 阅读 · 0 评论 -
Deep Residual Learning for Image Recognition 笔记
今天跑了把googlenet1应用到自己的分类任务中,识别率有大约有0.8%的提高。 还是看来大网络还是有用的, 只要你能很好的解决随着网络层数增多,容易引起过梯度消失或爆炸等问题。https://github.com/ShaoqingRen/faster_rcnn/issues/47 这里有关于这个网络实现的讨论https://github.com/beijbom/beij转载 2016-01-12 16:51:56 · 26538 阅读 · 1 评论 -
《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》阅读笔记与实现
最近在看MSRA 的残差神经网络,里面用到了 Batch Normalization的优化方法, 今天特意整理相关资料。下面博客转载于 http://blog.csdn.net/happynear/article/details/4423854115年过年之前,MSRA和Google相继在ImagenNet图像识别数据集上报告他们的效果超越了人类水平,下面将分两期介绍两者的算法细节。 这次先转载 2016-02-22 09:59:23 · 851 阅读 · 0 评论 -
Very Deep Convolutional Networks for Large-Scale Image Recognition(VGG模型)
最近在看imagenet ILSVRC2015 比赛结果,除了 msra 的深度残差神经网络外,采用最多的还是 googlenet和VGG这两种网络模型, 优化方法上更多的使用了batch nomalization,prelu等,大多团队都是这两个模型上改进,采用新的优化方法,多模型融合等。这里重点总结一下VGG,本文是牛津大学 visual geometry group(V原创 2016-02-22 11:18:41 · 7228 阅读 · 2 评论 -
模型评价和优化 Real-World Machine Learning: Model Evaluation and Optimization
转载于http://geek.csdn.net/news/detail/54720 原文:Real-World Machine Learning: Model Evaluation and Optimization 作者:Henrik Brink, Joseph W. Richards, Mark Fetherolf 译者:赵屹华 审校:刘翔宇监督学习的主要转载 2016-02-25 13:26:03 · 1790 阅读 · 0 评论 -
初学者如何查阅学术资料---以自然语言处理为例,分析cv领域
初学者如何查阅学术资料---以自然语言处理为例,分析cv领域(1) 视觉领域会议: cvpr,iccv,eccv,icml,iclr,等(2) 毋庸置疑arXiv已经成为深度学习最新进展的重要发布渠道,Yoshua Bengio等著名学者及其团队的最新研究成果,往往先发布在arXiv上,然后再发表在相关顶级会议上(3) 当需要了解某个领域,如原创 2016-02-25 14:23:31 · 1954 阅读 · 0 评论 -
神经网络推理加速: 合并卷积和BN层运算原理及实验
1. 为什么要合并BN层在训练深度网络模型时,BN(Batch Normalization)层能够加速网络收敛,并且能够控制过拟合,一般放在卷积层之后。BN 层将数据归一化后,能够有效解决梯度消失与梯度爆炸问题。虽然 BN 层在训练时起到了积极作用,然而,在网络前向推断时多了一些层的运算,影响了模型的性能,且占用了更多的内存或者显存空间。目前,很多先进的网络模型(ResNet,MobileN...转载 2019-05-29 09:35:13 · 2549 阅读 · 1 评论