反向传播算法- softmax 反向传播算法介绍: https://www.zhihu.com/question/27239198http://blog.csdn.net/u014313009/article/details/51039334softmax介绍:softmax层的损失函数 http://www.itdadao.com/articles/c15a267987p0.htmlhttps://zhuanlan.zhih
华为笔试题 1.老师想知道从某某同学当中,分数最高的是多少,现在请你编程模拟老师的询问。当然,老师有时候需要更新某位同学的成绩. 输入描述: 输入包括多组测试数据。 每组输入第一行是两个正整数N和M(0 < N <= 30000,0 < M < 5000),分别代表学生的数目和操作的数目。 学生ID编号从1编到N。 第二行包含N个整数,代表这N个学生的初始成绩,其中第i个数代表ID为i的学生的成绩
shell 相关 To train and test a Faster R-CNN detector using the alternating optimization algorithm from our NIPS 2015 paper, use experiments/scripts/faster_rcnn_alt_opt.sh#!/bin/bash# Usage:# ./experiments/scrip
训练数据相关 A Study of the Behavior of Several Methods for Balancing Machine Learning Training Data我们的实验结果使用基于歧视的归纳方案,表明问题并不仅仅是由类别不平衡引起的,而且也与类别之间的数据重叠程度有关我们得出结论,过采样方法能够帮助分类器的诱导比那些从采样数据集中诱导的分类器更为准确。值得注意的是,随机过采样是一种非
caffe相关--Layers http://caffe.berkeleyvision.org/tutorial/layers.htmlGoogle Protocol Buffers 简介(一):http://www.jianshu.com/p/7de98349cadd Data Layers Data enters Caffe through data layers: they lie at the bottom of ne
CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络) CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别? https://www.zhihu.com/question/34681168http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ RNN运用于图像生成描述,GENE
caffe 相关--Blobs, Layers, and Nets: anatomy of a Caffe model Deep learning tutorial on Caffe technology : basic commands, Python and C++ code.http://christopher5106.github.io/deep/learning/2015/09/04/Deep-learning-tutorial-on-Caffe-Technology.htmlForward and bac
RCNN, Fast-RCNN, Faster-RCNN http://closure11.com/rcnn-fast-rcnn-faster-rcnn%E7%9A%84%E4%B8%80%E4%BA%9B%E4%BA%8B/Faster-RCNN 论文笔记Faster RCNN由两个模块组成: 1.deep fully convolutional network that proposes regions 2.Fast R-CNN detector
python使用环境的设置 download caffechange Makefile.config3. mkidr ~/pyenv cd ~/pyenvvirtualenv pycaffe #it will setup a new python environtment named pycafffe . pycaffe/bin/activate #it will activate your pycaffe
损失函数介绍 谈谈分类器的损失函数(1): http://www.10tiao.com/html/149/201607/2650470558/1.htmlhttp://www.csuldw.com/2016/03/26/2016-03-26-loss-function/http://blog.csdn.net/google19890102/article/details/50522945最大似然估计: htt
排序算法 插入排序: https://zh.wikipedia.org/zh-hans/%E6%8F%92%E5%85%A5%E6%8E%92%E5%BA%8F希尔排序: https://zh.wikipedia.org/wiki/%E5%B8%8C%E5%B0%94%E6%8E%92%E5%BA%8F堆排序: https://zh.wikipedia.org/wiki/%E5%A0%86%E6%8E%
过拟合 lr_mult、decay_mult代表什么意思? http://www.cnblogs.com/malf-14/p/5540514.html 会出现overfitting,而当网络逐渐overfitting时网络权值逐渐变大,因此,为了避免出现overfitting,会给误差函数添加一个惩罚项,常用的惩罚项是所有权重的平方乘以一个衰减常量之和。其用来惩罚大的权值。学习速率是一个参数,用于确定更新
caffe --Multi-GPU Usage Currently Multi-GPU is only supported via the C/C++ paths and only for training.The GPUs to be used for training can be set with the “-gpu” flag on the command line to the ‘caffe’ tool. e.g. “build/too
Alexnet The Architecture ReLU Nonlinearity 非饱和非线性,然而,在这个数据集上,主要关注的是防止过度拟合,所以他们观察到的效果不同于我们在使用ReLUs时报告的训练集的加速能力。Training on Multiple GPUs 将网络分为两个GPU,当前的GPU特别适合于跨GPU并行化。因为他们可以直接读取和写入对方的内存,而不需要通过主机内存。 我们采用的并行化
Introduction to Parallel Computing 阅读笔记 第2章 并行编程平台 3部分:处理器,内存以及数据通道。 在对代码并行化之前,最好先优化串行代码的性能。 本节简单研究各种处理器用于支持多条指令执行的机制。 2.1 流水线,通过在指令执行过程中重叠不同的阶段,为了特高流水线的速度,可以将任务分为更小的单元,增加执行时的重叠时间。
机器学习中的卷积 卷积层(Convolutional layer),卷积神经网络中每层卷积层由若干卷积单元组成,每个卷积单元的参数都是通过反向传播算法优化得到的。卷积运算的目的是提取输入的不同特征,第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级,更多层的网络能从低级特征中迭代提取更复杂的特征。在泛函分析中,卷积、叠积、摺积或旋积,是通过两个函数f和g生成第三个函数的一种数学算子,表征函数f与经过翻转和平