深度学习
文章平均质量分 81
Ddreaming
计算机视觉方向
展开
-
CUDA结构简介
随着显卡的发展,GPU越来越强大,而且GPU为显示图像做了优化。在计算上已经超越了通用的CPU。如此强大的芯片如果只是作为显卡就太浪费了,因此NVidia推出CUDA,让显卡可以用于图像渲染和计算以外的目的(例如这里提到的通用并行计算)。CUDA即Compute Unified Device Architecture,是NVidia利用GPU平台进行通用并行计算的一种架构,它包含了CUDA指令集架转载 2016-09-11 15:26:41 · 8156 阅读 · 0 评论 -
openmp与openmpi区别
。openmp比较简单,修改现有的大段代码也容易。基本上openmp只要在已有程序基础上根据需要加并行语句即可。而mpi有时甚至需要从基本设计思路上重写整个程序,调试也困难得多,涉及到局域网通信这一不确定的因素。不过,openmp虽然简单却只能用于单机多CPU/多核并行,mpi才是用于多主机超级计算机集群的强悍工具,当然复杂。 (1)MPI=message passing inte转载 2016-11-24 13:59:06 · 16444 阅读 · 1 评论 -
LSTM
循环神经网络(RNN)点击打开链接人们的每次思考并不都是从零开始的。比如说你在阅读这篇文章时,你基于对前面的文字的理解来理解你目前阅读到的文字,而不是每读到一个文字时,都抛弃掉前面的思考,从头开始。你的记忆是有持久性的。传统的神经网络并不能如此,这似乎是一个主要的缺点。例如,假设你在看一场电影,你想对电影里的每一个场景进行分类。传统的神经网络不能够基于前面的已分类场景来推断接下来的转载 2016-11-22 18:13:37 · 5551 阅读 · 1 评论 -
协方差矩阵
一、统计学的基本概念统计学里最基本的概念就是样本的均值、方差、标准差。首先,我们给定一个含有n个样本的集合,下面给出这些概念的公式描述:均值:标准差:方差:均值描述的是样本集合的中间点,它告诉我们的信息是有限的,而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。以这两个集合为例,[0, 8, 12, 20]和[8, 9, 11, 12],转载 2016-11-21 15:35:36 · 633 阅读 · 0 评论 -
mAP介绍
作者:水哥链接:https://www.zhihu.com/question/41540197/answer/91698989来源:知乎著作权归作者所有,转载请联系作者获得授权。在图像中,尤其是分类问题中应用AP,是一种评价ranking方式好不好的指标:举例来说,我有一个两类分类问题,分别5个样本,如果这个分类器性能达到完美的话,ranking结果应该是+1,+1,+转载 2016-11-21 10:24:39 · 728 阅读 · 0 评论 -
数据处理-Batch Normalization
今年过年之前,MSRA和Google相继在ImagenNet图像识别数据集上报告他们的效果超越了人类水平,下面将分两期介绍两者的算法细节。 这次先讲Google的这篇《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》,主要是因为这里面的思想比较有普适性,转载 2016-11-20 12:12:43 · 1346 阅读 · 0 评论 -
激活函数
深度学习中的激活函数导引我爱机器学习(52ml.net)2016年8月29日0作者:程程链接:https://zhuanlan.zhihu.com/p/22142013来源:知乎著作权归作者所有,已联系作者获得转载许可。深度学习大讲堂致力于推送人工智能,深度学习方面的最新技术,产品以及活动。请关注我们的知乎专栏!摘要近年来,深度学习在计算机视觉领转载 2016-11-18 22:12:13 · 9841 阅读 · 0 评论 -
深度神经网络结构以及Pre-Training的理解
深度神经网络结构以及Pre-Training的理解Logistic回归、传统多层神经网络1.1 线性回归、线性神经网络、Logistic/Softmax回归线性回归是用于数据拟合的常规手段,其任务是优化目标函数:h(θ)=θ+θ1x1+θ2x2+....θnxnh(θ)=θ+θ1x1+θ2x2+....θnxn线性回归的求解法通常为两种:①解优化多元一次转载 2016-11-18 15:28:50 · 1995 阅读 · 0 评论 -
正则化方法:防止过拟合,提高泛化能力
正则化方法:防止过拟合,提高泛化能力 在机器学习各种模型训练数据不够多时,或者overtraining时,常常会导致overfitting(过拟合)。其直观的表现如下图所示,随着训练过程的进行,模型复杂度增加,在training data上的error渐渐减小,但是在验证集上的error却反而渐渐增大——因为训练出来的网络过拟合了训练集,对训练集外的数据却不work。转载 2016-11-18 14:48:00 · 3268 阅读 · 0 评论 -
深度学习中防止过拟合的方法
在深度学习中,当数据量不够大时候,常常采用下面4中方法:1. 人工增加训练集的大小. 通过平移, 翻转, 加噪声等方法从已有数据中创造出一批"新"的数据.也就是Data Augmentation2. Regularization. 数据量比较小会导致模型过拟合, 使得训练误差很小而测试误差特别大. 通过在Loss Function 后面加上正则项可以抑制过拟合的产生. 缺点是引转载 2016-11-18 09:04:06 · 6737 阅读 · 0 评论 -
caffe中lstm的实现以及lstmlayer的理解
本文地址:http://blog.csdn.net/mounty_fsc/article/details/53114698本文内容:本文描述了Caffe中实现LSTM网络的思路以及LSTM网络层的接口使用方法。本文描述了论文《Long-term recurrent convolutional networks for visual recognition and descrip转载 2016-11-25 11:18:54 · 17352 阅读 · 5 评论